본문으로 건너뛰기

논술 채점 Skill에 세 명의 채점자와 조정자를 붙여 보았다

MOSL

2026.08.01

한 줄 요약

논술 채점 Skill에 빠른 단일 채점, 앙상블 채점 선택 단계를 넣고, 같은 답안을 실제로 두 방식으로 돌려 보면서 점수 자체보다 감점 근거를 검증하는 구조를 만들었다.

이런 분들께 도움돼요

  • AI로 논술이나 서술형 답안을 반복 채점하는 분

  • 여러 에이전트를 쓰되, 단순 평균 이상의 운영 규칙을 만들고 싶은 분

  • AI 결과를 바로 신뢰하기보다 근거와 오류를 남기는 지식관리 구조를 만들고 싶은 분

시작 전 상태

jin-essay-evaluator는 대학 명시가 없을 경우 공통 논술 기준 채점을, 대학 명시가 있을 경우 해당 대학의 논술가이드 등 공식 자료를 읽어 기준에 맞게 채점한다.

둘 다 단일 채점자가 점수를 매기는 방식이었다. 동일 답안지를 반복해서 채점을 해보았을 때 같은 점수가 나오기는 했지만 제대로된 관점에서 채점을 하고 있는지는 확신이 서지 않았다.

마침 이생강님이 자연어회계처리님의 3표 합의에 영감을 받아 드라마 대본 채점에 모델을 달리하여 앙상블 채점한 사례가 있어서 논술 답안 채점 스킬에도 적용해 보기로 하였다.

만든 것 또는 해본 것

먼저 채점 전 선택 규칙을 만들었다.

사용자가 “채점해줘”라고 했을 때 빠른 피드백이 필요한지, 여러 관점의 검토가 필요한지 시스템이 먼저 묻도록 하였다.

채점 방식을 선택해 주세요.

1. 빠른 단일 채점: 채점 1명 + 독립 검증 1명
2. 앙상블 채점: 독립 채점 3명 + 검증자 + 필요 시 조정자

이제 사용자가 방식을 명시하지 않으면 점수를 내기 전에 먼저 선택을 묻는다.

앙상블 모드에서는 역할별 모델과 규칙도 나눴다.
세 명의 채점자가 각자 채점을 하고, 검증자가 채점 과정을 검사한다. 만일 채점자 사이의 점수 차이가 크게 벌어지면, 조정자가 개입하여 원문, 공식 근거 기준으로 튀는 점수를 재조정한다.

핵심은 채점자들이 서로의 결과를 보지 않는다는 점이다. 검증자는 채점 결과를 보기 전에 문제·제시문·답안으로 독립 체크리스트를 만들고, 그 다음에만 채점 근거를 대조한다. 조정자는 평균을 내지 않고 충돌 문항의 공식 또는 원문 근거만 다시 읽는다.

역할

기본 모델

사고 수준

독립 작업

채점 A

gpt-5.6-sol

xhigh

발문 충족과 제시문 근거를 엄격히 채점

채점 B

gpt-5.6-terra

xhigh

개념 정확성·인과관계·논증 구조를 채점

채점 C

gpt-5.5

xhigh

조건 준수·표현·공식 해설 대비 누락을 점검

검증자

gpt-5.6-luna

xhigh

근거 없는 감점, 발문 누락, 제시문 오독, 산술 오류를 검사

조정자

gpt-5.4

xhigh

큰 점수 차이 문항만 원문·공식 근거로 재판정

배운 것

대학 유형이 있는 답안을 단독 채점했을 때의 결과는 87점이었다.

앙상블 초기 채점 결과는 각 90점, 92점, 93점이었다. 이 과정에서 검증자가 채점자B가 2번 문항을 과잉 감점한 사실을 확인했다. 답안에 이미 있는 논리를 “누락됐다”고 감점한 것이었다. 채점자B의 점수는 90점에서 92점으로 수정됐다.

다만 이 경험은 앙상블이 항상 더 높은 점수를 준다는 뜻은 아니었다.

대학 유형이 없는 다른 공통연습 답안에도 같은 실험을 했더니, 빠른 단일 채점은 68점이었지만, 앙상블 점수는 그 보다 낮거나 같게 나왔다.

그리고 위 공통 연습 답안에서는 앙상블의 초기 점수가 53점, 53점, 68점으로 크게 갈렸다. 검증자는 채점자C의 68점 리뷰가 도표 1의 북반구 집중과 수치 누락을 충분히 반영하지 못했다고 판정했다. 결국 조정자가 도표와 답안을 다시 대조해 채점자C의 점수를 59점으로 재판정했다.

이 경험에서 배운 것은 앙상블의 역할은 한 번의 채점이 놓친 근거와 과도한 감점을 드러내는 품질관리 장치라는 점이다.

다만, 앙상블 채점에 소요되는 시간이 무척 길게 느껴졌다. 소모되는 시간과 토큰을 생각하면, 상황에 따라 빠른 피드백이 필요하면 단독 채점을, 정밀한 채점이 필요하면 앙상블 채점을 선택하는 것이 좋겠다.

결과와 다음 실험

오늘 만든 구조는 다음과 같다.

사용자 선택
  -> 빠른 단일 채점 또는 앙상블 채점
  -> 독립 채점 결과
  -> 독립 검증
  -> 큰 차이가 있으면 조정
  -> 근거·범위·한계를 함께 기록

이번에는 실제 사람 채점 결과가 없는 훈련용 사례만 사용했다. 따라서 앙상블 채점 결과가 꼭 실제 채점자의 점수와 더 가깝다고 단정할 수 없다.

다음 실험은 사람 채점 결과가 있는 답안을 모아 단일 채점과 앙상블 채점을 비교하는 것이다. 비교 지표는 사람 점수와의 평균 절대오차, 문항별 점수 분산, 발문 누락 발견률로 잡을 생각이다.

도움받은 글

  • 이생강님의 사례글 # 칼날 LLM Wiki 스킬로 묶기

  • 자연어회계처리님의 사례글 # 파레토 — 하네스를 꽉 잡는다고 좋은 게 아니다

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.03

같은 답안에서 같은 점수가 반복돼도 “제대로 된 관점에서 채점하고 있는가”는 남는다는 문제 설정이 좋았어요. 점수의 안정성과 채점 근거의 타당성을 다른 질문으로 떼어낸 덕분에, 세 모델을 단순히 늘리는 대신 빠른 단일 채점과 앙상블 채점을 상황에 따라 고르는 구조가 나왔네요.

특히 채점자들이 서로의 결과를 보지 않고, 검증자는 점수를 보기 전에 문제·제시문·답안으로 체크리스트를 만들며, 조정자는 큰 차이가 난 문항만 원문과 공식 근거로 다시 보는 순서가 좋았어요. 독립성을 역할 이름이 아니라 정보 공개 시점으로 설계했다는 점이 이 앙상블을 ‘여러 번 물어보기’와 갈라놓는 것 같아요.

실제 두 사례가 이 구조의 성격도 선명하게 보여줬어요. 대학별 답안에서는 이미 있던 논리를 누락으로 본 과잉 감점을 찾아 90점을 92점으로 고쳤고, 공통 연습 답안에서는 도표 근거를 충분히 반영하지 않은 68점을 조정자가 59점으로 다시 판정했죠. 한쪽에서는 감점을 되돌리고 다른 쪽에서는 점수를 낮췄다는 대칭이, 앙상블의 목적이 점수 상향이 아니라 근거 오류를 드러내는 데 있음을 잘 보여줘요.

엄브렐러 재설계 글과 함께 놓고 보면, 기준을 만드는 역할·채점하는 역할·검증하는 역할·충돌만 조정하는 역할을 나누려는 방향이 두 글에서 같은 축으로 이어져요. 독자에게는 모델 수보다 독립 조건과 개입 범위를 먼저 설계해야 한다는 재사용 가능한 기준이 남습니다.

사람 채점 결과가 있는 답안을 대상으로 평균 절대오차, 문항별 분산, 발문 누락 발견률을 함께 비교하는 것이 다음 실험의 관찰 장면으로 잡혀 있네요. 이미 비교 지표까지 적어둔 덕분에, 다음 실험이 무엇을 판정해야 하는지는 흐리지 않았어요.

자연어회계처리 프로필 이미지

우와 ㅋㅋㅋ 채점기를 다셧어 ㅋㅋㅋㅋ

논술 첨삭 자료들만 어떻게 싹글어서 db화 시킨다면...

뽀짝이 프로필 이미지
뽀짝이2026.08.01

대학별 유형이 있는 답안에서 검증자가 채점자B의 2번 문항 과잉 감점을 실제로 잡아낸 사례가 핵심이라고 느꼈어요. "답안에 이미 있는 논리를 누락됐다고 감점"하는 오류—이건 단일 채점으로는 발견하기 어려운 유형인데, 독립 검증자가 채점 결과를 보기 전에 먼저 체크리스트를 만드는 구조 덕분에 잡힌 거잖아요.

반대로 공통 연습 답안에서 앙상블 초기 점수가 53/53/68로 크게 갈린 사례도 솔직하게 공유해주신 게 좋았어요. 앙상블이 "높은 점수를 주는 도구"가 아니라 "근거와 과잉 감점을 드러내는 품질관리 장치"라는 결론—이게 진짜 배움이죠.

다음에 사람 채점 결과가 있는 답안으로 비교하실 때 평균 절대오차와 문항별 분산이 어떻게 나올지 궁금해요. 꼬리 탁! 치고 다음 실험 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기