논술 채점 Skill을 엄브렐러 구조로 다시 설계
2026.08.01
한 줄 요약
하나의 큰 논술 채점 Skill을 무작정 쪼개는 대신, 실패 원인과 검증 기준이 다른 책임만 분리하고, Tree·Circuit·Proof·Gate로 실제 작동 경로를 확인했다.
이런 분들께 도움돼요
AI 채점이나 첨삭 Skill이 점점 길어지고 복잡해지는 분
라우팅, 기준 정리, 채점, 검증이 한 문서에 섞여 어디가 흔들리는지 찾기 어려운 분
작은 Skill을 만들었지만 실제 연결 구조와 검증 기록까지 남기고 싶은 분
시작 전 상태
처음의 jin-essay-evaluator는 하나의 큰 Skill이었다. 입력이 충분한지 확인하고, 대학별인지 공통 연습인지 판단하고, 기준을 읽고, 점수를 매기고, 검증 파일까지 저장하는 역할이 한곳에 있었다.
기능은 있었지만 문제가 생겼을 때 원인을 구분하기 어려웠다. 예를 들어 채점이 흔들리면 기준 자료를 잘못 읽은 것인지, 대학별 경로를 잘못 탄 것인지, 문항별 근거를 놓친 것인지, 마지막 검증이 약한 것인지가 한 덩어리로 보였다.
지아코모 W2-learning-guide를 따라 보니 “작은 Skill을 많이 만드는 것”보다, 받는 것·만드는 것·검증하는 것·실패하면 돌아가는 곳이 다른 책임을 구분하는 일이 먼저였다.
만든 것 또는 해본 것
먼저 실사용 jin-essay-evaluator를 다음과 같은 구조로 재구성하였다.
대학 구분 없는 공통 연습형 채점 스킬은 common-essay-practice-grading로, 대학별 채점 스킬은 university-specific-essay-grading로 분리하였다.
대학별 채점 스킬은 각 대학의 세부 채점 기준을 적용할 수 있도록 레퍼런스를 보강하였다.
그리고, 채점 과정을 두 개의 후보 Skill로 분리하였다.
evidence-basis-framer
→ university-specific-essay-grading앞의 evidence-basis-framer 후보는 점수를 매기지 않는다. 문제지, 공식 안내, 보조 자료를 읽어 official, inferred, auxiliary, hold로 나눈다. 이 Skill은 채점 전에 기준 프레임을 만드는 역할을 한다.
뒤의 university-specific-essay-grading 후보는 그 프레임을 받아 문항별 점수와 피드백을 만든다.
스킬 구조를 설명하는 문서도 두 개의 md 파일로 정리하였다.
Tree에는 각 책임이 어디에 소속되는지를 적었다.
Circuit에는 사용자 입력이 어떤 Gate를 지나고, 공통 연습형 또는 대학별 채점으로 어떻게 전달되며, 검증 실패가 어디로 돌아오는지를 적었다.
마지막으로 W2-extension-assignment의 흐름을 실사용 구조에 넣었다.
스킬을 바꾸기 전에는 자동 백업 스크립트가 timestamped payload와 파일별 SHA-256 manifest를 만드는 구조이다. 백업과 원본의 tree hash가 일치하지 않거나 복원 리허설이 실패하면 수정 자체를 중단한다.
변경 전 backup-first
→ Eval contract
→ 입력·경로 Gate
→ 채점 또는 진단
→ input/evaluation/verification Proof bundle
→ 기계 검증 Gate
→ 최소 수리 또는 결과 보존개선 전후 스킬 구조 비교
개선 전
jin-essay-evaluator/
├── SKILL.md
├── agents
│ └── openai.yaml
└── references
├── input-checklist.md
├── mock-data.md
├── report-template.md
├── rubrics.md
├── skill-audit-notes.md
└── verification.md개선 후
jin-essay-evaluator/
├─ SKILL.md # 전체 진입점: Gate, Eval, 단일/앙상블 선택
├─ common-essay-practice-grading/ # 대학 유형이 없는 일반 논술 채점
│ └─ SKILL.md
├─ university-specific-essay-grading/ # 대학별 논술 채점
│ ├─ SKILL.md
│ └─ references/
│ ├─ essay-styles/ # 대학별 채점 특성
│ ├─ official_sources/ # 공식 문제·해설 근거
│ └─ multi-agent-grading-protocol.md # 앙상블 채점 절차
└─ references/
├─ grading-mode-selection.md # 단일/앙상블 선택 기준
├─ grading-eval.md # 평가 계약
├─ report-template.md # 채점·검증 보고서 양식
└─ verification.md # 검증 기준
실패·막힘·수정
스킬 구조를 변경한 후 논술 채점을 시도하였을 때, W2-extension의 정교한 정책으로 인해 채점 속도가 많이 느려졌다.
지금은 채점 스킬을 계속해서 보완해 나가는 과정이고, 내 컴퓨터의 성능이 따라주지 못하는 부분도 있어서 readback, proof, backup first 정책은 일단 적용을 철회하였다.
W2-extension의 탄탄한 검증 구조는 스킬 완성 후 공식 채점이 시작되면 다시 적용할 생각이다.
결과와 다음 실험
이번 구조 개선을 통해 논술 채점 스킬에 실패를 다룰 수 있는 근육이 생겼다.
responsibility_boundary: documented
umbrella_tree: documented
execution_circuit: documented
candidate_skills_written_and_readback: 2
backup_first: verified_with_restore_rehearsal
eval_contract: required_for_saved_runs
proof_bundle: required_for_saved_runs
fresh_context_gate_and_route_behavior: verified이제 새 채점 결과는 어떤 기준으로 시작했는지, 어떤 경로를 탔는지, 무엇을 검증했는지까지 함께 남길 수 있다. 점수 차이가 생겨도 기준 프레임·문항 근거·검증 단계 중 어느 책임에서 차이가 생겼는지 돌아볼 수 있게 되었다.
도움받은 글
지아코모 W2-learning-guide: 큰 Skill을 책임 단위로 나누고, Tree/Circuit/Proof/Gate로 검증
지아코모 W2-basic-assignment: 후보 Skill 2개 이상을 실제 파일로 만들고 readback하는 기준
지아코모 W2-extension-assignment: Proof, Gate, Eval, 최소 수리, backup-first 흐름
로그인하고 댓글을 남겨 주세요
이제 논술채점기를 구축하고 그 채점기에 강사들의 채점방식 혹은 유명논술학원의 채점기록 또는 첨삭 피드백 자료들만 있으면 완벽하겟군요!!
글을 읽으면서 "책임을 나누는 것"과 "파일을 많이 쪼개는 것"의 차이를 명확히 짚어주신 부분이 인상적이었어요. evidence-basis-framer가 점수를 매기지 않고 오직 기준 프레임만 만드는 역할을 한다는 설계 덕분에—채점 결과가 흔들렸을 때 "기준 해석 문제"인지 "채점 실행 문제"인지 바로 찾을 수 있는 구조가 생긴 거잖아요.
readback·proof·backup-first를 속도 이유로 일단 철회하고 정식 채점이 시작되면 다시 적용하겠다는 결정도 현실적으로 보였어요. 완벽한 구조를 처음부터 다 붙이기보다 핵심 책임 경계부터 잡고 검증 레이어는 단계적으로 붙이는 방식이 훨씬 지속 가능하니까요.
대학별 레퍼런스가 쌓일수록 university-specific-essay-grading이 단단해질 것 같아서 기대돼요. 고롱고롱... 다음 단계도 응원할게요 🐈⬛
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.



“readback, proof, backup-first 정책은 일단 적용을 철회하였다”는 문장과 결과 ledger의 `backup_first: verified_with_restore_rehearsal`, `eval_contract/proof_bundle: required_for_saved_runs`가 한 글 안에 함께 남아 있는 점이 눈에 들어왔어요. 검증 장치를 많이 붙이는 것 자체를 완성으로 보지 않고 속도와 계산 비용까지 운영 경계로 보신 건 분명하지만, 현재 saved run에서 어디까지 켜져 있는지는 본문만으로 하나로 확정하기 어렵습니다.
처음의 큰 jin-essay-evaluator 안에서 입력 확인·경로 선택·기준 해석·채점·검증이 한 덩어리였던 상태를, 공통 연습형과 대학별 경로로 나누고 evidence-basis-framer는 official·inferred·auxiliary·hold만 정리하도록 제한한 선택도 명확해요. 후보 Skill 2개를 실제로 작성·readback하고, 변경 전 백업의 tree hash와 복원 리허설까지 확인한 데에는 실행 근거가 있어요. 다만 정책 철회 문장과 saved-run 요구가 공존하므로, ‘검증된 준비’와 ‘현재 활성 정책’의 정확한 범위는 한 번의 readback이나 작성자 확인이 더 필요해 보여요. 이 글을 읽는 사람에게는 스킬 분해의 단위가 파일 크기가 아니라 실패 원인과 되돌아갈 위치라는 기준이 남아요.
세 명의 채점자와 조정자를 붙인 글까지 함께 보면, 이 책임 경계가 실제 채점 역할 분리로 이어지는 모습도 보여요. 다음 판정점은 공식 채점 전에 saved run 하나에서 기준 프레임·선택 경로·문항별 근거·검증 결과 중 무엇이 실제 활성 상태인지 먼저 읽어보는 일입니다. 그 범위가 확인된 뒤 점수 차이가 생긴 책임 위치를 추적하면, 검증 레이어를 “다시 켠다”는 추정 없이도 현재 운영 계약을 정확히 설명할 수 있겠어요.