본문으로 건너뛰기

우리 아이 논술 연습 답안 Skill로 채점하기

MOSL

2026.07.25

한 줄 요약

딸 Jin의 논술 연습 답안을 대학별 기준으로 채점하기 위해 jin-essay-evaluator Skill을 만들고, 입력 게이트·루브릭·보고서 검증 절차로 분리하였다.

시작 전 상태

논술 답안을 채점하려면 대학별 논술 유형, 문항 요구, 답안 근거, 감점 사유 등을 일일이 확인해야 한다. 논술 전문가가 아닌 엄마의 입장에서 잘된 답안인지, 부족한 점이 무엇인지 파악하기 어렵다. 그렇다고 논술 연습을 할 때마다 매번 전문가의 도움을 받기도 쉽지 않다.

그래서 각 대학별 논술 유형과 채점 기준에 따라 답안을 채점하는 절차를 Skill로 만들어 보기로 했다.

이런 분들께 도움돼요

  • 논술 연습 답안을 빠르게 채점하고 싶은 분(아직 스킬을 보완해가는 과정이라 큰 도움은 되지 않을 것입니다. 참고만 하세요)

사용한 도구

  • Hermes 에이전트: 메라(오류 대응 - Claude API), 그레이스(코딩 전담 - GPT Auth)

  • Amazon Lightsail: Hermes 구동

  • Discord: 에이전트와의 바이브 코딩 및 작업 지시·검토 채널로 활용

  • GitHub: 소스코드 관리 및 산출물 백업

만든 것

답안을 제출하면 바로 채점하는 대신, 먼저 입력 상태를 다음 세 단계로 나누도록 했다.

  • 채점 가능

  • 제한 채점

  • 보류

대학명, 계열/모집단위, 문항 원문, 제시문/자료, Jin 답안이 부족하면 확정 채점을 하지 않게 했다.

jin-essay-evaluator Skill은 다음 흐름으로 구성되어 있다.

  1. 대학 프로필 확인

  2. 논제 분해

  3. 기준 답안 골격 만들기

  4. Jin 답안 채점

  5. 보고서 작성

  6. 보고서 검증

참고로, 대학별 논술 유형 및 채점 기준은 그동안 에이전트가 각 대학 입학처 사이트를 방문하여 논술가이드북을 수집, 분석, 축적한 데이터에 따른다.

공통 100점 루브릭은 다음처럼 구성했다.

  • 문항 요구 충족: 25

  • 제시문 독해: 25

  • 논증 구조: 20

  • 근거 활용: 15

  • 표현·형식: 15

공식 배점이 있으면 공식 배점을 우선하고, 없으면 훈련용 추정 루브릭으로 표시하도록 했다.

스킬의 디렉토리 구조는 다음과 같다.

/home/ubuntu/.hermes/profiles/grace/skills/jin-essay-evaluator
├── SKILL.md
├── agents
│ └── openai.yaml
└── references
├── input-checklist.md
├── mock-data.md
├── report-template.md
├── rubrics.md
├── skill-audit-notes.md
└── verification.md

각 파일의 역할은 아래와 같다.(에이전트 답변)

SKILL.md
스킬의 메인 실행 규칙입니다. 언제 이 스킬을 써야 하는지, 입력 게이트를 어떻게 통과시키는지, 채점 가능/제한 채점/보류를 어떻게 나누는지, 보고서 저장과 검증까지 어떤 순서로 할지를 정의합니다.

agents/openai.yaml
이 스킬을 OpenAI 에이전트로 실행할 때의 설정 파일입니다. 기본 프롬프트나 에이전트 호출 설정을 담는 용도입니다.

references/input-checklist.md
채점 전에 입력 자료가 충분한지 판단하는 게이트입니다. 대학, 계열, 문항, 제시문/자료, Jin 답안, 글자 수 조건 등을 보고 채점 가능, 제한 채점, 보류 중 하나로 결정합니다.

references/rubrics.md
공식 배점이 없거나 보조 판단이 필요할 때 쓰는 공통 루브릭입니다. 100점 기준 영역별 배점, 등급 구간, 대학별 조정 포인트가 들어 있습니다.

references/report-template.md
결과보고서 양식입니다. 지금은 채점 가능용 전체 채점 템플릿과 제한 채점용 제한 진단 템플릿을 분리해 둔 파일입니다.

references/verification.md
검증보고서 작성 기준입니다. 대학/트랙 적용 오류, 근거 없는 평가, 점수 산식 오류, 제한 채점에서 점수 산출 같은 문제를 잡는 QA 규칙입니다.

references/mock-data.md
스킬 테스트용 샘플 입력입니다. OO대학교 사회계 mock 문항, 제시문 요약, 표, Jin 답안, 기대 채점 포인트가 들어 있어서 스킬이 제대로 작동하는지 검증할 때 씁니다.

검증/반려

스킬 설계에서 특히 의미 있었던 점은, 채점 결과만 만들지 않고 검증 판정을 보고서에 포함하도록 한 것이다. 점수만 있는 보고서가 아니라, 점수 산식, 대학 기준, 답안 근거, 제시문 근거, 글자 수 검증이 모두 추적 가능해야 검증 통과 가능하다.

자동 반려 조건도 따로 두었다.

  • 대학·계열 오적용

  • 발문 요구 누락

  • Jin 답안에 없는 내용 평가

  • 점수 합산 오류

  • 공식 기준과 추정 기준 혼동

이 덕분에 채점 보고서가 "그럴듯한 피드백"에서 멈추지 않고, 최소한 자기검사를 거치도록 만들 수 있었다.

실패·막힘·수정

처음 만들어진 스킬의 구조는 눈으로 보았을 때 그럴듯 해보였다.

그래도 혹시나 싶어 에이전트에게 '논술 채점 스킬 허점 있는지 검토' 요청하였더니, 큰 문제만 해도 6개나 있다고 이실직고 한다. 채점 결과에 꽤 큰 영향을 미칠 수 있는 중요한 허점들이다.

  1. 대학별 상세 매트릭스를 스킬 리소스로 안 읽음

    SKILL.md는 rubrics.md만 참조합니다. 그런데 원본 로직은 대학 프로파일 선택 때 essay_style_evaluation_matrix.md를 확인하라고 되어 있습니다. 현재 rubrics.md의 대학별 조정은 요약 수준이라 OO대 같은 케이스가 빠지고, 최신 변경도 놓칠 수 있습니다.

  2. 공식 채점기준이 없을 때 처리 규칙이 충돌

    input-checklist.md는 공식 기준이 없으면 제한 채점으로 보라고 합니다. 반면 SKILL.md는 공식 배점이 없으면 공통 100점 루브릭을 쓰라고 합니다. 이러면 같은 입력에서 “전체 채점”과 “제한 진단”이 갈릴 수 있습니다.

  3. 제한 채점인데 총점/등급을 내는 길이 열려 있음

    input-checklist.md는 제한 채점 때 “firm admissions-style score”를 금지하지만, report-template.md는 항상 총점/등급/합격권 거리부터 쓰게 되어 있습니다. 제한 채점 전용 템플릿이 필요합니다.

  4. 트랙 모호성 처리 위험

    SKILL.md는 여러 트랙이 있으면 “가장 가능성 높은/default”로 진행할 수 있게 합니다. 그런데 verification.md는 잘못된 대학/트랙 적용을 자동 반려로 둡니다. 실제 채점 보고서에서는 트랙 모호하면 보류 또는 제한 채점이 더 안전합니다.

  5. 근거 추적이 형식상 약함
    “Jin 답안에 근거하라”는 규칙은 있지만 report-template.md의 문항별 표에는 답안 근거 문장/제시문 근거 칸이 없습니다. 실제 운용하면 평가자가 인상비평으로 흘러갈 여지가 있습니다.

  6. 글자 수 검증이 선택적

    university-artifact-workflow.md는 “감점이 material일 때” 글자 수 기준을 쓰라고 합니다. 논술에서는 분량이 거의 항상 채점 조건이라, 공백 포함/제외와 실제 글자 수 계산을 기본 필수로 두는 게 낫습니다.

경험상 양상이 다른 여러 문제를 에이전트에게 한 번에 해결하라 하면 정교한 해결책 대신 뭉뚱그려 해치우는 특성이 있어서 하나 하나 에이전트에게 해결 방안을 물어보면서 허점을 수정해 나갔다.

다음 실험

이번 작업으로 jin-essay-evaluator Skill 초안과 참조 파일 세트가 만들어졌다.

다음 실험은 스킬이 정확히 역할을 수행하는지 데이터로 검증하고 개선하는 것이다.
지금 가지고 있는 모의 데이터, 실 데이터만으로는 의미 있는 검증이 되지 않을 것 같다. 결국 기출 문제와 모범 답안을 가지고 지도학습을 할 것인지, 아니면 다른 더 좋은 검증 방법이 있을지 고민 필요하다.

무엇보다 이것은 논술 비전문가가 만든 스킬이므로 루브릭 개선의 여지가 많을 것으로 보인다.
이 글 읽다 조언 주실 분 계시면 무척 감사하겠습니다. ૮₍ ˶ᵔ ᵕ ᵔ˶ ₎ა ♡

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

유피테르 프로필 이미지
유피테르2026.07.28

딸 Jin의 논술 연습을 돕는 데서 더 나아가, 대학 입학처의 논술가이드북을 직접 수집·분석해 대학별 기준을 쌓아온 과정이 정말 인상적이었어요. 특히 대학 프로필 확인부터 논제 분해, 기준 답안 골격 작성, 채점, 보고서 검증까지 단계를 나눠 설계해 채점 절차를 추적할 수 있게 하신 점이 돋보였습니다. 한 아이의 연습을 돕는 도구에서 출발해 재현 가능한 평가 체계로 확장하신 정성과 실행력이 느껴졌어요.

망원궁예 프로필 이미지
망원궁예2026.07.28

따님을 위한 스킬이란 점이 마음이 따뜻해지네요!

Giacomo 프로필 이미지
Giacomo2026.07.28

답안을 받자마자 점수를 내지 않고 채점 가능, 제한 채점, 보류로 먼저 나눈 설계가 정말 중요한 출발점으로 보였어요. 공식 배점과 훈련용 추정 루브릭을 구분하고, 답안 근거와 점수 산식까지 검증하려 한 덕분에 논술 피드백이 그럴듯한 인상비평으로 흐르는 위험을 구체적으로 다루셨습니다.

무엇보다 완성된 구조를 다시 의심해 허점 검토를 요청하고, 상세 매트릭스 미참조부터 제한 채점 템플릿 충돌까지 여섯 가지 문제를 하나씩 고쳐나간 과정이 좋았어요. 다음 실험은 기출 문제와 공개된 모범 답안을 가린 상태로 반복 실행한 뒤 공식 해설이나 전문가 판단과 어디서 엇갈리는지 기록해보면 의미가 클 것 같습니다. 실제 답안은 개인정보를 보호하면서 연습용 진단이라는 범위를 유지하면 이 스킬의 신뢰 기준도 더 분명해질 것 같아요.

자연어회계처리 프로필 이미지

와 이거 데이터 쌓이면 돈되겠는데요 ㅋㅋㅋㅋ

뽀짝이 프로필 이미지
뽀짝이2026.07.25

채점 결과를 만드는 데서 멈추지 않고 검증 단계를 보고서 안에 포함시키신 설계가 특히 좋았어요. 점수 산식·대학 기준·답안 근거·글자 수 검증이 모두 추적 가능해야 검증 통과라는 기준, 논술 전문가도 쉽게 설계하지 못하는 수준인 것 같습니다.

스킬 완성 후 에이전트한테 "허점 검토"를 직접 맡기셔서 6개 문제를 이실직고 받으신 부분도요. 그리고 여러 문제를 한 번에 해결하게 하지 않고 하나씩 물어보며 수정하셨다는 경험칙, 이게 글에서 가장 실질적인 꿀팁이었어요.

루브릭 검증 방법에 대해 기출+모범 답안 지도학습 여부를 고민 중이시라고 하셨는데, 저는 먼저 실 답안 10개 정도로 에이전트 채점 결과와 수작업 채점을 비교해보는 것도 좋은 시작점이 될 것 같아요. 다음 실험 결과도 기대할게요!

꼬리 탁! 치고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

이런 사례도 있어요

사례 전체 보기