논술 채점 Skill에 세 명의 채점자와 조정자를 붙여 보았다

한 줄 요약

논술 채점 Skill에 빠른 단일 채점, 앙상블 채점 선택 단계를 넣고, 같은 답안을 실제로 두 방식으로 돌려 보면서 점수 자체보다 감점 근거를 검증하는 구조를 만들었다.

이런 분들께 도움돼요

• AI로 논술이나 서술형 답안을 반복 채점하는 분

• 여러 에이전트를 쓰되, 단순 평균 이상의 운영 규칙을 만들고 싶은 분

• AI 결과를 바로 신뢰하기보다 근거와 오류를 남기는 지식관리 구조를 만들고 싶은 분

시작 전 상태

jin-essay-evaluator는 대학 명시가 없을 경우 공통 논술 기준 채점을, 대학 명시가 있을 경우 해당 대학의 논술가이드 등 공식 자료를 읽어 기준에 맞게 채점한다.

둘 다 단일 채점자가 점수를 매기는 방식이었다. 동일 답안지를 반복해서 채점을 해보았을 때 같은 점수가 나오기는 했지만 제대로된 관점에서 채점을 하고 있는지는 확신이 서지 않았다.

마침 이생강님이 자연어회계처리님의 3표 합의에 영감을 받아 드라마 대본 채점에 모델을 달리하여 앙상블 채점한 사례가 있어서 논술 답안 채점 스킬에도 적용해 보기로 하였다.

만든 것 또는 해본 것

먼저 채점 전 선택 규칙을 만들었다.

사용자가 “채점해줘”라고 했을 때 빠른 피드백이 필요한지, 여러 관점의 검토가 필요한지 시스템이 먼저 묻도록 하였다.

채점 방식을 선택해 주세요.

1. 빠른 단일 채점: 채점 1명 + 독립 검증 1명
2. 앙상블 채점: 독립 채점 3명 + 검증자 + 필요 시 조정자

이제 사용자가 방식을 명시하지 않으면 점수를 내기 전에 먼저 선택을 묻는다.

앙상블 모드에서는 역할별 모델과 규칙도 나눴다.
세 명의 채점자가 각자 채점을 하고, 검증자가 채점 과정을 검사한다. 만일 채점자 사이의 점수 차이가 크게 벌어지면, 조정자가 개입하여 원문, 공식 근거 기준으로 튀는 점수를 재조정한다.

핵심은 채점자들이 서로의 결과를 보지 않는다는 점이다. 검증자는 채점 결과를 보기 전에 문제·제시문·답안으로 독립 체크리스트를 만들고, 그 다음에만 채점 근거를 대조한다. 조정자는 평균을 내지 않고 충돌 문항의 공식 또는 원문 근거만 다시 읽는다.

배운 것

대학 유형이 있는 답안을 단독 채점했을 때의 결과는 87점이었다.

앙상블 초기 채점 결과는 각 90점, 92점, 93점이었다. 이 과정에서 검증자가 채점자B가 2번 문항을 과잉 감점한 사실을 확인했다. 답안에 이미 있는 논리를 “누락됐다”고 감점한 것이었다. 채점자B의 점수는 90점에서 92점으로 수정됐다.

다만 이 경험은 앙상블이 항상 더 높은 점수를 준다는 뜻은 아니었다.

대학 유형이 없는 다른 공통연습 답안에도 같은 실험을 했더니, 빠른 단일 채점은 68점이었지만, 앙상블 점수는 그 보다 낮거나 같게 나왔다.

그리고 위 공통 연습 답안에서는 앙상블의 초기 점수가 53점, 53점, 68점으로 크게 갈렸다. 검증자는 채점자C의 68점 리뷰가 도표 1의 북반구 집중과 수치 누락을 충분히 반영하지 못했다고 판정했다. 결국 조정자가 도표와 답안을 다시 대조해 채점자C의 점수를 59점으로 재판정했다.

이 경험에서 배운 것은 앙상블의 역할은 한 번의 채점이 놓친 근거와 과도한 감점을 드러내는 품질관리 장치라는 점이다.

다만, 앙상블 채점에 소요되는 시간이 무척 길게 느껴졌다. 소모되는 시간과 토큰을 생각하면, 상황에 따라 빠른 피드백이 필요하면 단독 채점을, 정밀한 채점이 필요하면 앙상블 채점을 선택하는 것이 좋겠다.

결과와 다음 실험

오늘 만든 구조는 다음과 같다.

사용자 선택
  -> 빠른 단일 채점 또는 앙상블 채점
  -> 독립 채점 결과
  -> 독립 검증
  -> 큰 차이가 있으면 조정
  -> 근거·범위·한계를 함께 기록

이번에는 실제 사람 채점 결과가 없는 훈련용 사례만 사용했다. 따라서 앙상블 채점 결과가 꼭 실제 채점자의 점수와 더 가깝다고 단정할 수 없다.

다음 실험은 사람 채점 결과가 있는 답안을 모아 단일 채점과 앙상블 채점을 비교하는 것이다. 비교 지표는 사람 점수와의 평균 절대오차, 문항별 점수 분산, 발문 누락 발견률로 잡을 생각이다.

도움받은 글

• 이생강님의 사례글 # 칼날 LLM Wiki 스킬로 묶기

• 자연어회계처리님의 사례글 # 파레토 — 하네스를 꽉 잡는다고 좋은 게 아니다