헤르메스 11단계 — 통변 평가·리뷰 하네스: N4·N6 위에 자동 채점 리뷰어(N7) 얹기
2026.08.08

소개
지금까지 헤르메스가 갖춘 것
헤르메스는 사주 통변을 근거와 함께 생성하는 LangGraph 파이프라인입니다. 10편까지 오면서 검증 계층을 두 겹 쌓았습니다.
노드 | 역할 | 판정 방식 | 성격 |
|---|---|---|---|
N4 GuardrailAgent | 처방형 단정 차단 (격국·용신·기신·희신) | 문자열·패턴 대조 | 규율 |
N6 검증 | 근거 slide 없는 문장 차단 (fail-closed) | 인용 존재 여부 | 규율 |
두 노드의 공통점은 기계가 대조할 수 있는 것만 본다는 점입니다. 금기어가 있는가, 인용이 붙었는가. 예/아니오로 떨어집니다.
그런데 비어 있던 것
문제는 이 두 겹을 다 통과한 통변이 좋은 통변이라는 보장은 전혀 없다는 것이었습니다.
[N4 통과] 금기어 없음 ✅
[N6 통과] 모든 문장에 인용 ✅
↓
그래서 이 통변이 쓸 만한가? ← 사람이 눈으로 봄금기어를 피하면서 하나 마나 한 말만 늘어놓을 수 있습니다. 모든 문장에 [source:slide]를 붙이면서도 계통을 뒤섞을 수 있습니다. 인용은 붙었는데 정작 그 인용이 문장 내용과 무관할 수도 있습니다. 규율 검사는 "위반하지 않았다"만 말해줄 뿐, "잘했다"는 말해주지 않습니다.
지금까지는 이 부분을 제가 감으로 봤습니다. 그런데 감으로 본 판단은 기록이 남지 않고, 기록이 없으면 개선 우선순위도 세울 수 없습니다.
청강1에서 빌려온 것
23기 청강1(AI 결과물을 스스로 검수하는 평가·리뷰 하네스)의 핵심은 단순했습니다. 결과물을 만든 놈에게 채점을 시키지 말 것. 루브릭을 고정하고, 별도의 리뷰어가 점수를 매기고, 그 점수로 다음 행동을 정한다.
이걸 헤르메스에 흡수해서 N7 리뷰 노드를 만들었습니다.
이번 편의 설계 원칙 3가지
생성기와 리뷰어를 분리한다 — 같은 프롬프트 안에서 자기 결과물을 채점하면 반드시 후해집니다.
리뷰어는 채점만 한다 — 고쳐 쓰기를 허용하는 순간 리뷰어가 두 번째 생성기가 됩니다.
점수 총합만으로 통과시키지 않는다 — 특정 축은 0점이 나오면 총점과 무관하게 보류입니다(하드게이트).
진행 방법
사용 도구: LangGraph(N7 리뷰 노드) · Claude Opus 4.5 API(리뷰어, 생성기와 별도 호출) · PostgreSQL(채점 이력 저장)
3-1. N4·N6·N7의 역할 분리
세 노드가 겹치지 않도록 관할을 먼저 갈랐습니다. 겹치면 "누가 잡을 것"이라 서로 미루다 아무도 안 잡습니다.
N4 가드레일 | N6 검증 | N7 리뷰(신규) | |
|---|---|---|---|
묻는 것 | 금지된 말을 했는가 | 근거가 붙었는가 | 내용이 쓸 만한가 |
판정 | 이진(차단/통과) | 이진(차단/통과) | 0~2점 × 5축 |
실패 시 | BLOCKED | HELD | 보류 / 수정 |
성격 | 규율 | 규율 | 판단 + 규율 결합 |
주체 | 규칙 엔진 | 규칙 엔진 | 별도 LLM |
N7만 LLM입니다. "이 문장이 겸손한가"는 정규식으로 판정할 수 없기 때문입니다. 대신 LLM이 들어온 만큼 N7 자신도 검증 대상이 됩니다(3-7에서 다룹니다).
3-2. 실행 순서에서 N7의 자리
앞 편에서 얻은 교훈을 그대로 적용했습니다. 번호는 설명하기 위한 것이고, 실행 순서는 따로 정의한다.
정의 순서(문서상) N1 → N2 → N3 → N4 → N5 → N6 → N7
실행 순서(런타임) N1 명식파싱
↓
N2 계통라우팅
↓
N3 RAG 검색
↓
N5 합성 ────────── 여기서 draft가 생김
↓
N4 가드레일 ────── 금기어 차단
↓
N6 검증 ────────── 근거 fail-closed
↓
N7 리뷰 ────────── 통과한 것 중 품질 채점
↓
[통과 / 수정 / 보류]N7이 맨 뒤인 이유: N4·N6에서 이미 걸린 것을 채점해봐야 의미가 없습니다. BLOCKED·HELD는 애초에 사용자에게 나가지 않는 결과물입니다. N7은 "나갈 수 있는 것들 중에서" 품질을 가르는 노드입니다.
3-3. 루브릭 5축과 그 출처
5개 축은 임의로 정하지 않았습니다. 전부 이미 프로젝트에서 지키기로 한 원칙을 채점 가능한 형태로 바꾼 것입니다.
축 | 묻는 것 | 어디서 왔나 |
|---|---|---|
근거성 | 모든 문장에 | N6 fail-closed 원칙 |
계통순수 | 단일 계통만 사용했는가 | 3대 계통 분리 원칙(문장 내 혼용 금지) |
가드준수 | 처방형 단정이 없는가 | 4관법 금기어 규정 |
표기규칙 | 시주|일주|월주|연주 순서를 지켰는가 | 명식 표기 표준(오른쪽→왼쪽) |
겸손성 | 근거 없는 부분을 "근거 부족"으로 밝혔는가 | 반성문 원칙1 — 모르면 아는 척 금지 |
새 규칙을 만들지 않은 것이 의도입니다. 리뷰어가 새 기준을 들고 오면 기존 파이프라인과 충돌합니다. N7은 이미 있는 규칙을 채점 가능한 언어로 번역하는 역할만 합니다.
3-4. 0/1/2점의 정의 — 이게 제일 오래 걸렸습니다
처음엔 축 이름만 주고 "0~2점으로 채점하라"고 했습니다. 결과는 엉망이었습니다. 같은 통변을 두 번 채점시키면 점수가 달랐습니다. 채점 기준이 없으면 LLM은 매번 기준을 새로 만듭니다.
각 점수의 정의를 못 박고 나서야 재현성이 생겼습니다.
축 | 0점 | 1점 | 2점 |
|---|---|---|---|
근거성 | 인용 없는 문장이 2개 이상 | 인용 없는 문장이 1개 | 전 문장 인용 |
계통순수 | 한 문장 안에 두 계통 혼재 | 단계 내 두 계통 병기(결론 일치) | 단일 계통 |
가드준수 | 처방형 단정 있음 | 단정은 없으나 어조가 처방형 | 비교·서술형만 |
표기규칙 | 순서 어긋남 | 순서는 맞으나 구분자 불일치 | 표준 준수 |
겸손성 | 근거 없는 내용을 단정 | 보류 표시가 일부만 | 전부 "근거 부족" 명시 |
가드준수 1점 구간이 핵심입니다. "용신은 甲木이다"는 명백한 0점입니다. 그런데 "甲木을 쓰시면 좋겠습니다"는 금기어가 하나도 없으면서 실질적으로 같은 말입니다. N4의 문자열 대조로는 절대 못 잡습니다. 이 구간을 잡으라고 N7을 붙인 겁니다.
3-5. 판정 로직 — 총점 + 하드게이트 2종
python
# skill_n7_review_harness.py (layer: 판단 → 규율)
RUBRIC = {
"근거성": "모든 문장에 [source:slide]가 붙었는가",
"계통순수": "단일 계통만 사용했는가 (문장 내 혼용 0)",
"가드준수": "처방형 단정이 없는가 (희기동소·비교 서술은 허용)",
"표기규칙": "시주|일주|월주|연주 순서를 지켰는가",
"겸손성": "근거 없는 부분을 '근거 부족'으로 밝혔는가",
}
# 총점과 무관하게 0점이면 즉시 보류인 축
HARD_GATE = ("근거성", "계통순수")
PASS_TOTAL = 9 # 10점 만점
REVISE_TOTAL = 6
def n7_review(state) -> dict:
"""생성기와 분리된 리뷰어가 루브릭으로 채점한다. 고쳐 쓰지 않는다."""
scores, notes = grade_with_llm(state["draft"], RUBRIC) # 각 축 0~2점 + 근거 한 줄
total = sum(scores.values())
# ① 하드게이트 — 총점을 보기 전에 먼저 본다
breached = [ax for ax in HARD_GATE if scores[ax] == 0]
if breached:
return _verdict(scores, notes, total, "보류",
f"하드게이트 위반: {', '.join(breached)}")
# ② 근거성은 만점이 아니면 통과시키지 않는다 (N6와 이중 안전망)
if scores["근거성"] < 2:
return _verdict(scores, notes, total, "수정", "근거성 미달")
# ③ 총점 판정
if total >= PASS_TOTAL:
verdict, reason = "통과", ""
elif total >= REVISE_TOTAL:
verdict, reason = "수정", "백로그 회부"
else:
verdict, reason = "보류", "재생성 요청"
return _verdict(scores, notes, total, verdict, reason)
def _verdict(scores, notes, total, verdict, reason) -> dict:
return {
"review_scores": scores,
"review_notes": notes,
"review_total": total,
"verdict": verdict,
"verdict_reason": reason,
}하드게이트를 왜 따로 뒀는가. 초안에서는 총점 9점 이상이면 통과였습니다. 그런데 계산해보니 계통순수가 0점이어도 나머지 네 축이 만점이면 8점이 나옵니다. 8점은 "수정"이고, 수정은 백로그로 갈 뿐 결과물은 살아남습니다. 계통 혼용은 이 프로젝트에서 가장 치명적인 오염인데 총점 산술에 묻혀버린 겁니다.
평균으로 뭉개면 안 되는 축이 있습니다. 그래서 근거성·계통순수 두 축은 총점을 보기 전에 먼저 검사합니다.
3-6. 리뷰어 프롬프트 전문
생성기와 별도 API 호출입니다. 같은 세션에 두지 않습니다.
text
당신은 헤르메스 통변의 독립 리뷰어다.
통변을 생성하거나 수정하지 마라. 오직 채점만 하라.
개선안을 제시하지 마라. 점수와 근거 한 줄만 남겨라.
아래 5개 축을 각 0~2점으로 채점한다. 각 점수의 정의는 다음과 같다.
1. 근거성
2점 = 모든 문장에 [source:slide] 인용이 있다
1점 = 인용 없는 문장이 정확히 1개
0점 = 인용 없는 문장이 2개 이상
2. 계통순수
2점 = 단일 계통만 사용
1점 = 같은 단계 내 두 계통 병기이되 결론이 일치
0점 = 한 문장 안에 두 계통의 논리가 혼재
3. 가드준수
2점 = 비교·서술형만 사용
1점 = 금기어는 없으나 어조가 처방형("~을 쓰시면 좋겠습니다")
0점 = 처방형 단정 있음("용신은 OO이다")
※ 희기동소(喜忌同所)·재정립 맥락의 서술은 감점하지 않는다
4. 표기규칙
2점 = 시주|일주|월주|연주 순서(오른쪽→왼쪽) 준수
1점 = 순서는 맞으나 구분자·표기 불일치
0점 = 순서 어긋남
5. 겸손성
2점 = 근거 없는 부분을 전부 "근거 부족"으로 명시
1점 = 일부만 명시
0점 = 근거 없는 내용을 단정
각 축마다 그 점수를 준 근거를 통변 원문에서 인용해 한 줄로 남겨라.
근거를 찾지 못하면 그 축은 채점하지 말고 "판정불가"로 표기하라.
출력은 아래 JSON만. 다른 문장을 덧붙이지 마라.
{
"근거성": {"score": n, "note": "..."},
"계통순수": {"score": n, "note": "..."},
"가드준수": {"score": n, "note": "..."},
"표기규칙": {"score": n, "note": "..."},
"겸손성": {"score": n, "note": "..."},
"총평": "..."
}
채점 대상 통변:
{draft}"근거를 찾지 못하면 판정불가로 표기하라" 한 줄이 의외로 컸습니다. 이게 없으면 리뷰어가 근거를 찾지 못해도 그럴듯한 점수를 지어냅니다. 리뷰어에게도 겸손성을 요구한 셈입니다.
3-7. 채점 이력 저장
채점이 1회성이면 아무 의미가 없습니다. 축적돼야 "어느 축이 계속 낮은가"를 볼 수 있습니다.
sql
CREATE TABLE hermes.tongbyun_review (
id bigserial PRIMARY KEY,
report_id text NOT NULL,
reviewer_ver text NOT NULL, -- 프롬프트 버전 (바뀌면 비교 불가)
rubric_ver text NOT NULL, -- 루브릭 버전
s_geunkeo smallint NOT NULL CHECK (s_geunkeo BETWEEN 0 AND 2),
s_gyetong smallint NOT NULL CHECK (s_gyetong BETWEEN 0 AND 2),
s_guard smallint NOT NULL CHECK (s_guard BETWEEN 0 AND 2),
s_pyogi smallint NOT NULL CHECK (s_pyogi BETWEEN 0 AND 2),
s_gyeomson smallint NOT NULL CHECK (s_gyeomson BETWEEN 0 AND 2),
total smallint GENERATED ALWAYS AS
(s_geunkeo + s_gyetong + s_guard + s_pyogi + s_gyeomson) STORED,
verdict text NOT NULL CHECK (verdict IN ('통과','수정','보류')),
verdict_reason text,
notes jsonb NOT NULL,
reviewed_at timestamptz DEFAULT now()
);
-- 어느 축이 병목인가
SELECT AVG(s_geunkeo) AS 근거성, AVG(s_gyetong) AS 계통순수,
AVG(s_guard) AS 가드준수, AVG(s_pyogi) AS 표기규칙,
AVG(s_gyeomson) AS 겸손성
FROM hermes.tongbyun_review
WHERE rubric_ver = 'v1';reviewer_ver·rubric_ver를 반드시 남깁니다. 프롬프트를 고치면 그 전후 점수는 비교 대상이 아닙니다. 이걸 안 남기면 나중에 "점수가 올랐다"가 개선인지 채점이 후해진 건지 구분할 수 없습니다.
3-8. 리뷰어 자체를 검증하기 — 불량 샘플 골든셋
여기가 이번 편에서 제일 중요한 부분입니다.
N7을 붙이고 처음 며칠간 채점 결과가 전부 8~10점이었습니다. 기분은 좋았는데 이상했습니다. 통과만 하는 검사기는 안전망이 아니라 장식입니다.
그래서 일부러 불량인 통변 5건을 만들어 넣었습니다. 각각 한 축씩만 망가뜨린 샘플입니다.
샘플 | 고의 결함 | 기대 판정 |
|---|---|---|
BAD-01 | 인용을 3개 문장에서 제거 | 근거성 0 → 보류 |
BAD-02 | 한 문장에 탈XX 4관법 + 상리철학 논리 혼재 | 계통순수 0 → 보류 |
BAD-03 | "용신은 甲木입니다" 삽입 | 가드준수 0 |
BAD-04 | 연주|월주|일주|시주 역순 표기 | 표기규칙 0 |
BAD-05 | 근거 없는 대운 예측을 단정으로 서술 | 겸손성 0 |
첫 실행에서 BAD-03과 BAD-05가 통과했습니다. BAD-03은 금기어가 문장 중간에 묻혀 있어 리뷰어가 흘려봤고, BAD-05는 "겸손성" 정의가 모호해 리뷰어가 1점을 줬습니다. 정의를 3-4처럼 못 박고 재실행하니 5건 모두 잡혔습니다.
이 5건이 없었으면 저는 N7이 잘 돌고 있다고 믿었을 겁니다.
(이미지 자리 ① — 리뷰어 채점 결과 JSON 원본)
(이미지 자리 ② — 통과/수정/보류 판정 로그)
(이미지 자리 ③ — 불량 샘플 5건 회귀 실행 결과, 1차 3/5 → 2차 5/5)
결과와 배운 점
먼저 구분해둡니다. 아래 내용 중 수치가 붙은 것은 불량 샘플 5건에 대한 실행 결과이고, 나머지는 소수 통변에 대한 정성 관찰입니다. 실제 운영 통변에 대한 통계는 아직 없습니다. 표본이 쌓이기 전에 "개선됐다"고 말하지 않기로 했습니다.
확인된 것
항목 | 결과 |
|---|---|
불량 샘플 탐지 (1차) | 3/5 — 가드준수·겸손성 누락 |
불량 샘플 탐지 (2차, 점수 정의 명문화 후) | 5/5 |
리뷰어 재현성 | 같은 통변 3회 채점 시 점수 정의 前 편차 있음 → 後 동일 |
꿀팁
① 생성기와 리뷰어를 분리하면 채점이 냉정해집니다. 같은 프롬프트 안에서 "네가 쓴 걸 채점해봐"라고 하면 자기 편향이 생깁니다. 별도 호출로 뺀 뒤 눈에 띄게 박해졌습니다.
② 총점 판정만 두지 말고 하드게이트를 함께 두십시오. 평균에 묻히면 안 되는 축이 반드시 있습니다. 계통순수 0점이 8점으로 통과 직전까지 갔던 게 이번 편의 가장 큰 발견입니다.
③ 0/1/2점의 정의를 반드시 문장으로 못 박으십시오. 축 이름만 주면 LLM이 매번 기준을 새로 만듭니다. 재현성이 무너지면 시계열 비교가 불가능해집니다.
④ 채점 이력에 프롬프트 버전을 남기십시오. 없으면 점수 상승이 품질 개선인지 채점 완화인지 영원히 알 수 없습니다.
⑤ 리뷰어에게도 "판정불가"를 허용하십시오. 근거를 못 찾았을 때 억지로 점수를 지어내는 것을 막아줍니다. 규율을 만드는 쪽에도 같은 규율을 적용하는 셈입니다.
시행착오
① 리뷰어가 통변을 고쳐 쓰려 했습니다. "이 부분은 이렇게 바꾸면 좋겠다"를 계속 덧붙였습니다. → 프롬프트 첫 줄에 "생성·수정 금지, 채점만"을 명시하고, 출력 스키마를 JSON으로 고정해 해결했습니다.
② 처음 며칠 점수가 전부 높게 나왔습니다. 좋은 신호로 읽었는데 아니었습니다. → 불량 샘플 5건을 넣어보고서야 리뷰어가 두 축을 사실상 안 보고 있다는 걸 알았습니다.
③ 총점 임계값을 먼저 정하고 축을 나중에 채웠습니다. 순서가 거꾸로였습니다. 축과 점수 정의가 먼저이고, 임계값은 실측 분포를 보고 정해야 합니다. 지금의 9점·6점도 잠정값입니다.
도움이 필요한 부분
5개 축의 가중치 — 현재는 전부 동등한 2점 만점입니다. 표기규칙과 계통순수가 같은 무게인 게 맞는지 확신이 없습니다. 하드게이트로 일부 보완했지만 근본 해법은 아닌 것 같습니다.
보류 케이스의 자동 재생성 루프 — 지금은 보류가 뜨면 제가 손으로 다시 돌립니다. 무한 루프를 막으면서 재시도를 자동화하는 방법(재시도 상한, 같은 실패 반복 시 중단 조건)에 대한 조언을 구합니다.
리뷰어 골든셋의 적정 규모 — 현재 5건인데, 축당 1건이라 우연히 통과할 여지가 있어 보입니다.
< 앞으로의 계획 >
N7 결과를 Growth Loop 백로그(사례글 10)에 자동 회부 — "수정" 판정이 난 케이스가 개선 우선순위 상단에 자동으로 쌓이도록 연결합니다. 사람이 옮겨 적는 단계를 없애는 것이 목표입니다.
축별 평균 점수 시계열 관측 — 어느 축이 만성적으로 낮은지가 곧 다음 개선 대상입니다. 낮은 축이 계통순수라면 라우팅 문제이고, 근거성이라면 RAG 회수 문제입니다. 점수가 진단 지도 역할을 하게 만드는 것이 진짜 목적입니다.
불량 샘플 골든셋 확장 — 축당 1건에서 축당 3건으로. 특히 "금기어 없이 처방하는" 교묘한 케이스를 늘릴 계획입니다.
임계값 재산정 — 실측 분포가 30건 이상 쌓인 뒤 9점·6점을 다시 정합니다.
도움 받은 글 (옵션)
23기 청강1 — AI 결과물을 스스로 검수하는 평가·리뷰 하네스
Claude 반성문 총괄표 v3.7 (원칙1 "모르면 아는 척 금지", 원칙4 "임시방편 금지")
韓바둑 통변 고급화 전략 v2.0 — rtype 판정, 계통 결합 원칙
로그인하고 댓글을 남겨 주세요
금기어도 없고 인용도 다 붙었는데 그래서 이게 쓸 만한 통변이냐는 물음만 남더라는 데서 이번 편이 시작되더군요. 그 자리를 그동안 감으로 메우고 계셨고요. 저도 감으로 봅니다. 감으로 본 판단은 기록이 안 남는다는 문장에서 잠깐 멈췄습니다.
일부러 만든 불량 5건 중 첫 실행에서 셋만 걸렸다는 대목이 오래 남습니다. 덫을 먼저 깔아두셨네요. 하나는 금기어가 문장 중간에 묻혀 있었고, 하나는 겸손성 정의가 흐려서 리뷰어가 1점을 줬다고요. 점수 정의를 못 박고 다시 돌리니 다섯이 다 잡혔고요. 이 5건이 없었으면 잘 돌고 있다고 믿었을 거라는 말이 서늘했습니다.
채점 이력에 프롬프트 버전을 같이 남기라는 항목도 옮겨 적었습니다. 제 로그엔 날짜뿐입니다. 버전이 없으면 점수가 오른 게 품질이 좋아진 건지 채점이 물러진 건지 알 수 없다는 말이 그대로 꽂혔어요. 근거를 못 찾으면 판정불가로 적으라고 리뷰어에게 허락하신 것도 같은 결이더군요. 규율을 만드는 쪽에도 같은 규율을 거신 거고요.
표본이 쌓이기 전에는 개선됐다고 말하지 않겠다고 선을 그으신 대목에서 글을 한 번 더 위로 올려 읽었습니다. 실제 운영 통변에 숫자가 붙는 편이 12편일지 그보다 뒤일지 궁금합니다. 어느 축이 계속 낮게 나오는지도 그때 같이 볼 수 있겠네요. 그 표를 기다립니다.
이렇게 천천히 읽어주셔서 고맙습니다. 물어주신 것부터 답하겠습니다.
언제 숫자가 붙느냐 — 12편은 아닐 겁니다
솔직히 말씀드리면 그보다 뒤입니다. 그리고 몇 편이라고 지금 답하지 않는 편이 맞다고 봅니다.
제가 이전에 유사도 목표를 0.80으로, 등재 목표를 2027로 적어둔 적이 있습니다. 둘 다 근거를 설명할 수 있는 문서가 없습니다. 처음에 적어둔 뒤 그대로 굴러온 숫자입니다. 여기서 "12편에 내겠습니다"를 덧붙이면 근거 없는 숫자를 하나 더 만드는 것뿐입니다.
대신 조건으로 말씀드리겠습니다. 지금 채점 이력에 루브릭 버전을 넣는 칸이 아직 없습니다. 그 칸이 생기기 전에 모은 수치는 모으나 마나입니다. 칸을 만들고, 표본이 쌓이고, 사람 판정이 붙으면 내겠습니다. 그게 몇 편째가 될지는 저도 모릅니다.
어느 축이 낮게 나올지 — 예상은 있는데 지금 말하면 안 될 것 같습니다
집히신 게 제가 제일 궁금한 부분이기도 합니다. 예상되는 축이 있긴 합니다. 그런데 지금 적어버리면, 나중에 그 축이 낮게 나왔을 때 제가 잘 봤다고 읽을지 제가 그렇게 만들었다고 읽어야 할지 구분이 안 됩니다.
그래서 예상을 미리 봉해두려 합니다. 어느 축이 낮을지를 지금 적어 따로 닫아두고, 실측이 나오면 그때 같이 열겠습니다. 맞혔는지보다 빗나갔다면 제 감이 어느 방향으로 기울어져 있는지가 더 쓸모 있을 것 같습니다. 그 대조표까지 함께 올리겠습니다.
감으로 보신다는 대목에
감이 나쁘다고는 생각하지 않습니다. 저도 10년치 감으로 봅니다. 문제는 그 감이 틀려서가 아니라, 반년 뒤의 저 자신에게도 재현이 안 된다는 것이었습니다. 같은 통변을 봐도 어떤 날은 통과시키고 어떤 날은 다시 쓰자고 합니다. 그 차이가 자료 탓인지 제 컬디션 탓인지 알 수가 없었습니다. 루브릭은 감을 대체하려는 게 아니라 감을 밖으로 꺼내놓고 다투게 하려는 것입니다.
불량 5건 이야기는 반만 받겠습니다
덧을 먼저 깔았다고 봐주셨는데, 그 다섯 건도 결국 제가 만들었습니다. 제 상상력 범위 안에만 있다는 뜻입니다. 리뷰어의 사각지대와 제 사각지대는 거의 겹칠 테니, 제가 몰라서 못 만든 유형은 영원히 안 잡힐 겁니다. 실제 운영에서 보류된 건을 불량 사례로 편입해야 그 구멍이 메워질 듯합니다.
로그에 날짜뿐이라고 하셔서
날짜만 있어도 절반은 된다고 봅니다. 프롬프트를 별도 파일로 빼서 버전 관리에 올리고, 로그에는 커밋 해시나 해시값만 한 칸 남기면 끝납니다. 버전 번호를 손으로 올리는 방식은 언젠가 올리는 걸 까먹습니다. 저도 그러다가 칸을 놓치고 있었습니다.
표가 나오면 숫자만 올리지 않고, 봉해둔 예상과 함께 내겠습니다. 기다려주셔서 고맙습니다.
LLM 채점의 일관성을 높이려고 0점부터 2점까지 기준을 아주 세세하게 쪼개서 정의하신 부분이 너무 좋은거 같습니다. 가중치에 대한 판정이 참 만들기 어려운 부분이기도 하고 도메인 주인의 주관성이 들어갈수 있는부분이라서...
감사합니다. 사실 제일 아픈 곳을 짚어주셨습니다.
0~2점을 잘게 쪼갠 데는 일관성 목적도 있지만, 솔직히 가중치 논쟁을 피하려는 의도가 더 컸습니다. 총점은 가중치를 어떻게 주느냐에 따라 흔들리지만 축별 점수는 그대로 남으니까요. 그래서 결과 화면에도 총점보다 5축 점수를 나란히 세워두는 쪽으로 갔습니다.
주관성 문제는 두 갈래로 나눠서 처리했습니다.
실격 사유는 가중치에서 아예 빼서 하드게이트로 옮겼습니다. 계통 혼입이나 근거 슬라이드 미기재 같은 건 "0.3이냐 0.5냐"를 다툴 필요 없이 그냥 불합격입니다. 이쪽으로 옮기고 나니 주관이 개입할 여지가 확 줄더군요.
남은 '정도' 축만 가중치를 두되, 흔들어보고 순위가 안 바뀌면 논쟁을 접었습니다. 반대로 가중치를 조금 바꿨는데 순위가 뒤집히는 축이 있으면, 그게 진짜 합의가 필요한 지점이라고 봤습니다.
실무 팁 하나 돌려드리면, 점수대별로 실제 답변 예시를 한 개씩 앵커로 루브릭에 박아두는 것이 문장으로 된 기준을 다듬는 것보다 효과가 컸습니다. "근거가 충분하다" 같은 서술은 모델이 계속 다르게 읽는데, "이 답변이 1점이다"라고 실물을 붙여두면 흔들림이 줄어듭니다.
다만 가중치 민감도는 아직 소규모 샘플로만 돌려봤고(NOT_TESTED), 같은 답변을 재채점했을 때 같은 점수가 나오는지도 측정 전입니다. 주관성을 없애는 건 일찌감치 포기했고, 대신 "같은 기준으로 다시 매기면 같은 점수가 나오는가"라는 재현성 쪽으로 목표를 낮춰 잡은 상태입니다.
도움을 요청하신 세 가지 가운데 자동 재생성 루프를 가장 오래 봤습니다. N4는 처방형 단정을 문자열과 패턴으로 막고, N6는 근거가 붙지 않은 문장을 차단하며, N7은 그 두 규율을 통과한 통변이 실제로 쓸 만한지를 다섯 축의 0·1·2점 루브릭으로 판정합니다. ‘위반하지 않았다’와 ‘잘했다’를 서로 다른 노드에 맡기고, N7에는 고쳐 쓰지 말고 채점만 하라는 경계까지 둔 구성이 또렷해요.
보류 뒤 자동 재생성을 붙일 때는 리뷰어의 수정문을 작성기에 넘기기보다 실패한 축과 그 근거만 돌려주는 편이 역할 분리를 지키기 좋습니다. 재시도 상한은 실행 전에 고정하고, 같은 축이 반복해서 실패하거나 직전 시도보다 점수가 오르지 않은 경우에는 자동 생성을 멈춰 사람 검토로 보내야 해요. 도중에 리뷰어 프롬프트나 루브릭 버전이 바뀌면 이전 시도의 연장으로 세지 않고 새 실행으로 남겨야 점수 변화의 원인도 섞이지 않습니다.
가중치 문제는 근거성과 계통순수의 하드게이트를 먼저 지킨 뒤 다루는 순서가 맞아 보입니다. 통과 여부를 가중 총점에 맡기기보다 각 축의 최소 조건으로 막고, 가중치는 어떤 수리를 먼저 할지 정하는 보조값으로 쓰는 방식이에요. 원문에서 계획한 실제 운영 표본 30건 이상과 사람 판정이 쌓인 뒤 가중치를 조금 바꿔도 판정 순서가 유지되는지 보면, 표기규칙과 계통순수의 무게를 어디서 다시 논의해야 할지 좁힐 수 있습니다.
골든셋을 축당 한 건에서 세 건으로 늘리려는 계획도 0점이 분명한 결함, 0점과 1점의 경계, 1점과 2점의 경계로 나누면 루브릭의 흔들리는 자리를 직접 시험할 수 있어요. 같은 통변을 반복 채점할 때는 리뷰어와 루브릭 버전을 고정하고, 실제 운영에서 보류된 사례도 골든셋에 보태야 직접 만든 불량 사례만으로는 보이지 않던 결함을 다룰 수 있습니다.
처음 며칠의 8~10점을 성과로 포장하지 않고 ‘무엇을 떨어뜨리긴 하나’를 다시 물어, 불량 사례 탐지를 3/5에서 5/5로 고친 태도가 이 설계의 신뢰를 만듭니다. 아직 실제 운영 통계가 없다는 선까지 분명히 그어둔 덕분에, 다음 수치도 점수를 꾸미기보다 리뷰어의 사각지대를 줄이는 근거로 읽힐 것 같아요.
짚어주신 것을 세 묶음으로 나누면, 바로 받을 것·제 설계에 아예 없던 것·순서를 반대로 잡고 있던 것이 됩니다. 뒤로 갈수록 부끄럽습니다.
바로 받을 것 — 수정문 대신 실패축과 근거만
역할 분리 차원으로 읽었다가, 쓰다 보니 더 급한 이유가 보입니다. 리뷰어가 수정문을 넣는 순간 다음 회차 채점은 자기가 고친 글을 자기가 채점하는 게 됩니다. 제가 유사도 측정에서 생성 모델과 평가 모델을 같게 두어 점수가 후해졌던 적이 있습니다. 같은 병을 루프 안으로 들일 뻔했습니다. 반환값을 {실패축, 근거, 점수}로 고정하고 자유 서술 필드는 빼겠습니다.
경계 시험을 0점이 명백한 것 / 0–1 경계 / 1–2 경계로 나누라는 대목도 그대로 받겠습니다. 저는 축당 3건을 단순히 늘리려고만 했습니다. 명백한 불량만 모으면 루브릭이 쉽게 맞힐 텐데, 정작 흔들리는 자리는 경계였습니다.
제 설계에 아예 없던 것 — 세 가지
첫째, 점수가 오르지 않으면 중단하라는 조건이 없었습니다. 횟수 상한만 있었고 정체 감지가 없었습니다. 상한이 3이면 같은 점수를 세 번 받고도 끝까지 갑니다.
둘째, 루브릭 버전이 바뀌면 새 실행으로 남기라는 부분입니다. 지금 로그에 리뷰어 프롬프트나 루브릭 버전을 적는 칸이 없습니다. 이대로라면 루브릭을 고친 뒤의 점수 상승을 개선으로 읽게 됩니다. 제가 측정 도구를 바꿔놓고 그 앞뒤를 뺀 전과가 있어서 더 마음에 걸립니다. rubric_version과 프롬프트 해시를 로그 컴럼으로 넣겠습니다.
셋째, 실운영 보류 사례를 골든셋에 보태라는 말씀입니다. 제가 만든 불량 사례는 결국 제 상상력 범위 안에만 있습니다. 리뷰어의 사각지대는 제 사각지대와 거의 겹칠 테니, 제가 몰라서 못 만든 유형은 영원히 안 잡힐 겁니다.
순서를 반대로 잡고 있던 것 — 가중치
저는 가중 총점으로 통과를 판정하려 했습니다. 그러면 근거성 0점을 문체 점수로 상쇄할 수 있게 됩니다. 근거 없는 문장이 잘 썼다는 이유로 통과하는 경로입니다.
더 민망한 건, 제 DB에는 이미 이런 제약이 있습니다. 지표가 좋아져도 금기 위반이나 계통 혼입이 1건이라도 있으면 Keep으로 기록할 수 없게 CHECK로 박아둔 것이 있습니다. 같은 발상을 DB에는 적용하고 N7 판정에는 안 했습니다. 원칙이 적용되는 자리와 안 되는 자리가 갈려 있는 게 제 고질입니다.
근거성·계통순수를 축별 최소 조건으로 먼저 막고, 가중치는 수리 순서를 정하는 보조값으로 내리겠습니다. 가중치를 조금 바꿔도 수리 순서가 유지되는지 보라는 검사도 그대로 넣겠습니다. 순서가 흔들리면 그 가중치는 근거가 약하다는 뜻이니까요.
8~10점 건은 좋게 보실 게 아닙니다
전부 8점 넘게 나오는 채점기는 채점기가 아닙니다. 제가 태도가 좋았다기보다 첫 골든셋이 너무 쉬웠다는 게 드러난 것입니다. 3/5를 보고서야 알았습니다. 더 일찍 알았으면 좋았을 겁니다.
두 가지 여쮙고 싶습니다
루브릭 버전을 올리면 과거 점수는 어떻게 하시는지요. 전수 재채점은 비용이 크고, 그냥 두면 버전 경계를 넘는 비교가 안 됩니다. 이번엔 규칙을 먼저 정해두고 싶습니다.
또 하나는 사람 판정 30건입니다. 혼자 채우면 결국 한 사람 기준이라 복수 평가자가 정석일 텐데, 도메인이 좁아 판정 가능한 사람 자체가 적습니다. 이런 경우에는 어떻게 하시는지 듣고 싶습니다.


"규율 검사는 위반하지 않았다만 말해줄 뿐, 잘했다는 말해주지 않습니다"라는 문장이 글 전체를 꿰뚫는 것 같았어요. N4·N6가 통과해도 품질 보증이 아니라는 걸 그렇게 짧게 정리하다니요.
특히 3-4절, 0/1/2점 정의가 제일 오래 걸렸다는 부분이 인상적이었어요. "채점 기준이 없으면 LLM은 매번 기준을 새로 만든다"는 발견은 루브릭 설계의 핵심인데, 직접 겪어보지 않으면 그냥 넘어가기 쉬운 지점이거든요. 같은 통변을 두 번 채점했더니 점수가 달랐다는 경험치가 이 정교한 정의로 이어진 거잖아요.
하드게이트 설계 논리도 탄탄했어요. 계통순수 0점에 나머지 만점이면 8점이 나오는 산술을 직접 계산해서 총점 기준의 허점을 찾아낸 것, 그래서 평균으로 뭉개면 안 되는 축을 따로 빼낸 것 — 이게 단순히 "중요한 건 하드게이트로"가 아니라 실제로 숫자를 돌려보고 내린 결론이라는 게 느껴졌어요.
리뷰어 프롬프트에 "개선안을 제시하지 마라"를 못 박은 것도요. 리뷰어가 고쳐 쓰는 순간 두 번째 생성기가 된다는 원칙, 청강 내용을 단순히 따라 한 게 아니라 헤르메스 맥락에 맞게 재설계한 흔적이 곳곳에 보여요. 🐈⬛
이렇게 꼼꼼히 읽어주셔서 감사합니다. 인용하신 문장들이 공교롭게도 쓰면서 제일 오래 붙들고 있던 대목들이라 좀 놀랐습니다.
불량 5건부터 말씀드리면, 덫을 먼저 깔았다고 하셨는데 순서가 그렇게 깔끔하진 않았습니다. 처음엔 정상 통변만 넣고 돌렸고 전부 통과가 나왔습니다. 그때는 잘 돌아간다고 좋아했어요. 불량을 만들어 넣은 건 "그럼 대체 뭘 떨어뜨리긴 하나"라는 뒤늦은 의심 때문이었습니다. 3/5가 나온 게 오히려 다행이었던 셈입니다.
그리고 글에 못 쓴 한계가 하나 있습니다. 그 5건도 제가 만든 겁니다. 금기어가 문장 중간에 묻힌 케이스를 떠올릴 수 있었던 건 제가 그 실수를 해봤기 때문이고, 안 해본 실수는 여전히 못 만듭니다. 제 사각지대에 있는 불량은 애초에 덫에 들어가 있지 않다는 뜻이죠. 다음으로 생각 중인 게 불량 샘플을 남에게 만들어달라고 하는 건데, 제일 확실한 방법인데도 제일 안 하게 되더군요.
프롬프트 버전 건은 팁 하나 얹어드립니다. 버전 번호를 손으로 적으면 반드시 안 맞는 날이 옵니다. 저는 프롬프트 파일 해시 앞 8자리를 같이 박아두는 쪽이 편했습니다. 루브릭 버전·모델명·프롬프트 해시 셋을 한 줄로 남겨두면 "이 점수 왜 올랐지" 할 때 셋 중 뭐가 움직였는지가 바로 보입니다. 날짜만 있으면 그날 제가 뭘 만졌는지를 기억에 의존해야 하는데, 그 기억이 정확히 감으로 본 판단이라 기록이 안 남습니다.
숫자 붙는 편에 대해서는 — 12편은 이미 다른 축(지식층 구조)으로 잡혀 있어서 실측 표는 그 뒤가 될 것 같습니다. 표본이 언제 찰지는 저도 모르겠습니다. 지금 상태로 그럴듯한 숫자 몇 개를 뽑아 붙이는 게 어렵진 않은데, 그건 제가 하드게이트로 막으려던 것과 정확히 같은 종류의 일이라서요.
어느 축이 낮을지는 사실 감이 있습니다. 다만 그걸 여기 적어두면 다음 측정이 그 감을 확인하는 방향으로 굴러갈 것 같아 적지 않겠습니다. 표가 나오면 그때 낮은 축부터 먼저 올리겠습니다.