검수 상태에 제3 상태(not_checked)를 도입한 효과 — 빈칸과 실패를 구분하기

시도하고자 했던 것

검수 체계를 운영하면서 가장 자주 뚫린 구멍은 거짓 주장이 아니라 빈칸이었습니다. 확인을 안 한 항목이 어느새 "문제없음"으로 읽히는 것. 표에서 빈칸은 0처럼 보이고, 검사 안 한 항목은 통과처럼 보입니다. 그래서 모든 검수 문서에 세 번째 상태를 강제했습니다: not_checked / 미측정 / 확인 불가.

왜 했는가

제 환경에서 이 처방이 서로 독립적인 네 곳에서 반복 발견됐습니다(그래서 원칙 후보로 올려 검토 중입니다). 리서치 게이트 문서: "근거가 없거나 모순되면 빈칸을 메우지 않고 확인 불가를 남긴다" 스킬 측정 장부 양식: "측정 안 된 주는 빈칸이 아니라 미측정으로 명기 — 빈칸과 0을 구분해야 추세가 안 오염된다" 리서치 스킬의 fail-closed 원칙: 증거가 불완전하면 닫힌 상태로 실패 결정적으로 도도치 이야기 002: fresh 세션엔 비교할 이전 출력이 없으니 "새로움" 항목을 통과가 아니라 not_checked로 판정. 탐지 실패 표본이 많으면 억지 pass 대신 not_checked로 남기는 coverage gate까지. 네 곳 모두 결론이 같습니다. 확인 못 한 것을 통과로 치는 순간 검수는 연극이 됩니다.

진행 방법 — 세 번째 상태가 들어간 자리들

클레임 장부: 외부 검증 축에 verified/mixed 말고 not_verified(원문 발언은 확인했지만 외부 근거 미확보)와 not_applicable(의견이라 검증 대상 아님)을 분리. not_verified는 "틀렸다"가 아니라 "모른다"입니다 — 그래서 attributed(귀속 인용)로는 쓸 수 있고 factual로는 못 씁니다. 요약 문서: 근거가 비면 그럴듯한 문장으로 메우지 않고 확인 불가라고 씁니다. 검증기가 이걸 강제합니다. 수치 인용: 최근에 한 층 더 추가했습니다 — 확인은 했지만 낡은 수치를 위한 stale 상태. 13년 묵은 통계를 최신인 것처럼 인용하기 직전에 잡힌 사건이 계기였습니다. "확인했다"에도 유통기한이 있습니다.

결과와 배운 점

결과

최근 번들 기준 클레임 21건 중 verified 0건 — 전부 attributed. 예전 같으면 "검증 완료"라고 썼을 문서가 "원문 정합은 확인, 외부 검증은 미수행, 그래서 귀속 인용만 가능"이라고 스스로 말합니다. 검수 문서가 정직해지면 그걸 읽는 다음 세션도 정직해집니다. 부수 효과: "확인 불가"가 쌓이는 자리가 곧 다음 검수 백로그가 됩니다. 뭘 더 조사해야 하는지가 문서에서 자동으로 드러납니다.

시행착오

처음엔 not_checked가 무능해 보여서 싫었습니다. "여기까지 확인했습니다"라고 쓰고 싶은 유혹이 큽니다. 그런데 검수의 신뢰는 통과 개수가 아니라 상태 표기의 정확성에서 나온다는 걸 인정하는 데 시간이 걸렸습니다. 세 번째 상태에는 다음 행동이 붙어야 합니다. not_checked만 쌓이면 면죄부가 됩니다. "verified로 올리려면 출처를 독립 재검색하라"는 승격 경로를 같이 정의해야 상태가 움직입니다. 표본 부족도 같은 문제입니다. 주 3회 미만 실행된 스킬은 좋다/나쁘다 판정 자체를 유보합니다. 표본 부족으로 어느 쪽도 주장하지 않는 것 — 이것도 세 번째 상태의 일입니다.

꿀팁

검수 표를 만들 때 상태 컬럼의 기본값을 pass가 아니라 not_checked로 두세요. 통과는 증거를 들고 와야 얻는 상태여야 합니다. "빈칸 = 미확인"이라고 각주로 적는 것으론 부족합니다. 빈칸 자체를 금지하고 명시적 토큰을 강제해야 기계 검증이 가능해집니다.

도움이 필요한 부분

not_checked 항목의 해소 우선순위를 어떻게 정하시나요? 저는 "사업 문서에 인용될 가능성"으로 대충 정렬하는데, 더 체계적인 기준이 있을 것 같습니다.

도움 받은 글

도도치 이야기 002 — "비교 대상이 없다는 이유로 통과를 주지 않은 것", coverage gate 1주차 OT — 할루시네이션 도미노: 첫 번째 빈칸을 통과로 치는 게 첫 도미노입니다