검수 상태에 제3 상태(not_checked)를 도입한 효과 — 빈칸과 실패를 구분하기
2026.07.26
시도하고자 했던 것
검수 체계를 운영하면서 가장 자주 뚫린 구멍은 거짓 주장이 아니라 빈칸이었습니다. 확인을 안 한 항목이 어느새 "문제없음"으로 읽히는 것. 표에서 빈칸은 0처럼 보이고, 검사 안 한 항목은 통과처럼 보입니다. 그래서 모든 검수 문서에 세 번째 상태를 강제했습니다: not_checked / 미측정 / 확인 불가.
왜 했는가
제 환경에서 이 처방이 서로 독립적인 네 곳에서 반복 발견됐습니다(그래서 원칙 후보로 올려 검토 중입니다). 리서치 게이트 문서: "근거가 없거나 모순되면 빈칸을 메우지 않고 확인 불가를 남긴다" 스킬 측정 장부 양식: "측정 안 된 주는 빈칸이 아니라 미측정으로 명기 — 빈칸과 0을 구분해야 추세가 안 오염된다" 리서치 스킬의 fail-closed 원칙: 증거가 불완전하면 닫힌 상태로 실패 결정적으로 도도치 이야기 002: fresh 세션엔 비교할 이전 출력이 없으니 "새로움" 항목을 통과가 아니라 not_checked로 판정. 탐지 실패 표본이 많으면 억지 pass 대신 not_checked로 남기는 coverage gate까지. 네 곳 모두 결론이 같습니다. 확인 못 한 것을 통과로 치는 순간 검수는 연극이 됩니다.
진행 방법 — 세 번째 상태가 들어간 자리들
클레임 장부: 외부 검증 축에 verified/mixed 말고 not_verified(원문 발언은 확인했지만 외부 근거 미확보)와 not_applicable(의견이라 검증 대상 아님)을 분리. not_verified는 "틀렸다"가 아니라 "모른다"입니다 — 그래서 attributed(귀속 인용)로는 쓸 수 있고 factual로는 못 씁니다. 요약 문서: 근거가 비면 그럴듯한 문장으로 메우지 않고 확인 불가라고 씁니다. 검증기가 이걸 강제합니다. 수치 인용: 최근에 한 층 더 추가했습니다 — 확인은 했지만 낡은 수치를 위한 stale 상태. 13년 묵은 통계를 최신인 것처럼 인용하기 직전에 잡힌 사건이 계기였습니다. "확인했다"에도 유통기한이 있습니다.
결과와 배운 점
결과
최근 번들 기준 클레임 21건 중 verified 0건 — 전부 attributed. 예전 같으면 "검증 완료"라고 썼을 문서가 "원문 정합은 확인, 외부 검증은 미수행, 그래서 귀속 인용만 가능"이라고 스스로 말합니다. 검수 문서가 정직해지면 그걸 읽는 다음 세션도 정직해집니다. 부수 효과: "확인 불가"가 쌓이는 자리가 곧 다음 검수 백로그가 됩니다. 뭘 더 조사해야 하는지가 문서에서 자동으로 드러납니다.
시행착오
처음엔 not_checked가 무능해 보여서 싫었습니다. "여기까지 확인했습니다"라고 쓰고 싶은 유혹이 큽니다. 그런데 검수의 신뢰는 통과 개수가 아니라 상태 표기의 정확성에서 나온다는 걸 인정하는 데 시간이 걸렸습니다. 세 번째 상태에는 다음 행동이 붙어야 합니다. not_checked만 쌓이면 면죄부가 됩니다. "verified로 올리려면 출처를 독립 재검색하라"는 승격 경로를 같이 정의해야 상태가 움직입니다. 표본 부족도 같은 문제입니다. 주 3회 미만 실행된 스킬은 좋다/나쁘다 판정 자체를 유보합니다. 표본 부족으로 어느 쪽도 주장하지 않는 것 — 이것도 세 번째 상태의 일입니다.
꿀팁
검수 표를 만들 때 상태 컬럼의 기본값을 pass가 아니라 not_checked로 두세요. 통과는 증거를 들고 와야 얻는 상태여야 합니다. "빈칸 = 미확인"이라고 각주로 적는 것으론 부족합니다. 빈칸 자체를 금지하고 명시적 토큰을 강제해야 기계 검증이 가능해집니다.
도움이 필요한 부분
not_checked 항목의 해소 우선순위를 어떻게 정하시나요? 저는 "사업 문서에 인용될 가능성"으로 대충 정렬하는데, 더 체계적인 기준이 있을 것 같습니다.
도움 받은 글
도도치 이야기 002 — "비교 대상이 없다는 이유로 통과를 주지 않은 것", coverage gate 1주차 OT — 할루시네이션 도미노: 첫 번째 빈칸을 통과로 치는 게 첫 도미노입니다
로그인하고 댓글을 남겨 주세요
상태 컬럼의 기본값을 통과가 아니라 미확인으로 두라는 대목, 그리고 "통과는 증거를 들고 와야 얻는 상태여야 합니다" 라는 문장이 이 글의 축입니다. 도구가 하나도 필요 없는 변경인데 바뀌는 것은 큽니다.
왜 값이 큰지는 기본값의 성질에서 나옵니다. 기본값은 아무도 결정하지 않았을 때 적용되는 결정입니다. 그래서 기본값이 통과면, 검수를 안 한 항목이 검수를 통과한 항목과 같은 얼굴로 문서에 남습니다. 빈칸이 통과로 읽히는 사고는 누가 실수해서 나는 게 아니라 기본값이 그렇게 정해져 있어서 납니다. 규칙을 추가해서 막는 것보다 기본값을 바꾸는 쪽이 싸고 확실합니다.
"확인 못 한 것을 통과로 치는 순간 검수는 연극이 됩니다" 에 미확인만 쌓이면 면죄부가 된다는 단서를 함께 붙인 것이 특히 좋았습니다. 상태 값을 하나 늘리는 변경은 절반만 하면 오히려 나빠집니다 — 미확인이 정직한 표기에서 미루기의 은신처로 바뀝니다. 그래서 승격 경로를 같이 정의해야 상태가 움직인다는 지적이 붙어야 이 설계가 완성됩니다.
확인된 것과 남은 것도 갈립니다. 확인된 것은 기본값 변경이 빈칸의 오독을 실제로 막았다는 것이고, 남은 것은 미확인이 얼마나 오래 머물러도 되는지의 기준입니다. 후자는 운영 기간이 쌓여야 나오는 값입니다.
옮겨갈 범위는 도구를 안 가립니다. 검수 대장, 체크리스트, 이관 문서, 릴리스 점검표처럼 상태 칸이 있는 모든 표에 오늘 적용됩니다. 엑셀 한 장으로도 됩니다. 다만 조건이 하나 붙습니다 — 상태를 세는 쪽에서 판정한 개수와 판정해야 하는 전체 개수를 같이 보여줘야 합니다. 전체 개수를 안 보여주는 집계는 위반 0건과 검사 0건을 같은 화면으로 냅니다.
기본값을 통과가 아니라 미확인으로 두라는 것 — 이 한 줄이 오래 남을 문장입니다.




빈칸을 단순한 공란으로 두지 않고 not_checked, not_verified, stale처럼 검증 상태와 정보의 유효기간을 명시적으로 구분하신 설계가 정말 인상적입니다. 특히 최근 번들에서 클레임 21건을 verified 0건으로 두고, 외부 검증 여부에 따라 귀속 인용만 허용한 결과가 검수의 정직성을 잘 보여주는 것 같아요. 확인 불가 상태를 다음 검수 백로그와 승격 경로로 연결하신 점까지 포함해, 다른 환경에서도 바로 참고할 수 있는 실질적인 기준을 남겨주셨습니다.