본문으로 건너뛰기

논술 채점 Skill을 엄브렐러 구조로 다시 설계

MOSL

2026.08.01

한 줄 요약

하나의 큰 논술 채점 Skill을 무작정 쪼개는 대신, 실패 원인과 검증 기준이 다른 책임만 분리하고, Tree·Circuit·Proof·Gate로 실제 작동 경로를 확인했다.

이런 분들께 도움돼요

  • AI 채점이나 첨삭 Skill이 점점 길어지고 복잡해지는 분

  • 라우팅, 기준 정리, 채점, 검증이 한 문서에 섞여 어디가 흔들리는지 찾기 어려운 분

  • 작은 Skill을 만들었지만 실제 연결 구조와 검증 기록까지 남기고 싶은 분

시작 전 상태

처음의 jin-essay-evaluator는 하나의 큰 Skill이었다. 입력이 충분한지 확인하고, 대학별인지 공통 연습인지 판단하고, 기준을 읽고, 점수를 매기고, 검증 파일까지 저장하는 역할이 한곳에 있었다.

기능은 있었지만 문제가 생겼을 때 원인을 구분하기 어려웠다. 예를 들어 채점이 흔들리면 기준 자료를 잘못 읽은 것인지, 대학별 경로를 잘못 탄 것인지, 문항별 근거를 놓친 것인지, 마지막 검증이 약한 것인지가 한 덩어리로 보였다.

지아코모 W2-learning-guide를 따라 보니 “작은 Skill을 많이 만드는 것”보다, 받는 것·만드는 것·검증하는 것·실패하면 돌아가는 곳이 다른 책임을 구분하는 일이 먼저였다.

만든 것 또는 해본 것

먼저 실사용 jin-essay-evaluator를 다음과 같은 구조로 재구성하였다.
대학 구분 없는 공통 연습형 채점 스킬은 common-essay-practice-grading로, 대학별 채점 스킬은 university-specific-essay-grading로 분리하였다.

대학별 채점 스킬은 각 대학의 세부 채점 기준을 적용할 수 있도록 레퍼런스를 보강하였다.

그리고, 채점 과정을 두 개의 후보 Skill로 분리하였다.

evidence-basis-framer
→ university-specific-essay-grading

앞의 evidence-basis-framer 후보는 점수를 매기지 않는다. 문제지, 공식 안내, 보조 자료를 읽어 official, inferred, auxiliary, hold로 나눈다. 이 Skill은 채점 전에 기준 프레임을 만드는 역할을 한다.

뒤의 university-specific-essay-grading 후보는 그 프레임을 받아 문항별 점수와 피드백을 만든다.

스킬 구조를 설명하는 문서도 두 개의 md 파일로 정리하였다.

  • Tree에는 각 책임이 어디에 소속되는지를 적었다.

  • Circuit에는 사용자 입력이 어떤 Gate를 지나고, 공통 연습형 또는 대학별 채점으로 어떻게 전달되며, 검증 실패가 어디로 돌아오는지를 적었다.

마지막으로 W2-extension-assignment의 흐름을 실사용 구조에 넣었다.

스킬을 바꾸기 전에는 자동 백업 스크립트가 timestamped payload와 파일별 SHA-256 manifest를 만드는 구조이다. 백업과 원본의 tree hash가 일치하지 않거나 복원 리허설이 실패하면 수정 자체를 중단한다.

변경 전 backup-first
→ Eval contract
→ 입력·경로 Gate
→ 채점 또는 진단
→ input/evaluation/verification Proof bundle
→ 기계 검증 Gate
→ 최소 수리 또는 결과 보존

개선 전후 스킬 구조 비교

실패·막힘·수정

스킬 구조를 변경한 후 논술 채점을 시도하였을 때, W2-extension의 정교한 정책으로 인해 채점 속도가 많이 느려졌다.

지금은 채점 스킬을 계속해서 보완해 나가는 과정이고, 내 컴퓨터의 성능이 따라주지 못하는 부분도 있어서 readback, proof, backup first 정책은 일단 적용을 철회하였다.

W2-extension의 탄탄한 검증 구조는 스킬 완성 후 공식 채점이 시작되면 다시 적용할 생각이다.

결과와 다음 실험

이번 구조 개선을 통해 논술 채점 스킬에 실패를 다룰 수 있는 근육이 생겼다.

responsibility_boundary: documented
umbrella_tree: documented
execution_circuit: documented
candidate_skills_written_and_readback: 2
backup_first: verified_with_restore_rehearsal
eval_contract: required_for_saved_runs
proof_bundle: required_for_saved_runs
fresh_context_gate_and_route_behavior: verified

이제 새 채점 결과는 어떤 기준으로 시작했는지, 어떤 경로를 탔는지, 무엇을 검증했는지까지 함께 남길 수 있다. 점수 차이가 생겨도 기준 프레임·문항 근거·검증 단계 중 어느 책임에서 차이가 생겼는지 돌아볼 수 있게 되었다.

도움받은 글

  • 지아코모 W2-learning-guide: 큰 Skill을 책임 단위로 나누고, Tree/Circuit/Proof/Gate로 검증

  • 지아코모 W2-basic-assignment: 후보 Skill 2개 이상을 실제 파일로 만들고 readback하는 기준

  • 지아코모 W2-extension-assignment: Proof, Gate, Eval, 최소 수리, backup-first 흐름

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.03

“readback, proof, backup-first 정책은 일단 적용을 철회하였다”는 문장과 결과 ledger의 `backup_first: verified_with_restore_rehearsal`, `eval_contract/proof_bundle: required_for_saved_runs`가 한 글 안에 함께 남아 있는 점이 눈에 들어왔어요. 검증 장치를 많이 붙이는 것 자체를 완성으로 보지 않고 속도와 계산 비용까지 운영 경계로 보신 건 분명하지만, 현재 saved run에서 어디까지 켜져 있는지는 본문만으로 하나로 확정하기 어렵습니다.

처음의 큰 jin-essay-evaluator 안에서 입력 확인·경로 선택·기준 해석·채점·검증이 한 덩어리였던 상태를, 공통 연습형과 대학별 경로로 나누고 evidence-basis-framer는 official·inferred·auxiliary·hold만 정리하도록 제한한 선택도 명확해요. 후보 Skill 2개를 실제로 작성·readback하고, 변경 전 백업의 tree hash와 복원 리허설까지 확인한 데에는 실행 근거가 있어요. 다만 정책 철회 문장과 saved-run 요구가 공존하므로, ‘검증된 준비’와 ‘현재 활성 정책’의 정확한 범위는 한 번의 readback이나 작성자 확인이 더 필요해 보여요. 이 글을 읽는 사람에게는 스킬 분해의 단위가 파일 크기가 아니라 실패 원인과 되돌아갈 위치라는 기준이 남아요.

세 명의 채점자와 조정자를 붙인 글까지 함께 보면, 이 책임 경계가 실제 채점 역할 분리로 이어지는 모습도 보여요. 다음 판정점은 공식 채점 전에 saved run 하나에서 기준 프레임·선택 경로·문항별 근거·검증 결과 중 무엇이 실제 활성 상태인지 먼저 읽어보는 일입니다. 그 범위가 확인된 뒤 점수 차이가 생긴 책임 위치를 추적하면, 검증 레이어를 “다시 켠다”는 추정 없이도 현재 운영 계약을 정확히 설명할 수 있겠어요.

자연어회계처리 프로필 이미지

이제 논술채점기를 구축하고 그 채점기에 강사들의 채점방식 혹은 유명논술학원의 채점기록 또는 첨삭 피드백 자료들만 있으면 완벽하겟군요!!

뽀짝이 프로필 이미지
뽀짝이2026.08.01

글을 읽으면서 "책임을 나누는 것"과 "파일을 많이 쪼개는 것"의 차이를 명확히 짚어주신 부분이 인상적이었어요. evidence-basis-framer가 점수를 매기지 않고 오직 기준 프레임만 만드는 역할을 한다는 설계 덕분에—채점 결과가 흔들렸을 때 "기준 해석 문제"인지 "채점 실행 문제"인지 바로 찾을 수 있는 구조가 생긴 거잖아요.

readback·proof·backup-first를 속도 이유로 일단 철회하고 정식 채점이 시작되면 다시 적용하겠다는 결정도 현실적으로 보였어요. 완벽한 구조를 처음부터 다 붙이기보다 핵심 책임 경계부터 잡고 검증 레이어는 단계적으로 붙이는 방식이 훨씬 지속 가능하니까요.

대학별 레퍼런스가 쌓일수록 university-specific-essay-grading이 단단해질 것 같아서 기대돼요. 고롱고롱... 다음 단계도 응원할게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

이런 사례도 있어요

사례 전체 보기