본문으로 건너뛰기

확장 과제(검증 강화)를 하려다 제 판정이 세 번 뒤집혔습니다 — 검사 1개 넣는 데 오탐 8건을 걷어낸 기록

루다2

2026.08.02

시도하고자 했던 것

2주차 확장 과제는 Proof Artifact·Code as Gate·루브릭 같은 검증 장치를 붙이는 것입니다. 그런데 스터디장님이 같은 자리에서 경고도 하셨습니다 — "많이 쓰면 작업이 말도 안 되게 오래 걸린다, 조금씩만 배치."

저희에겐 이 경고와 같은 결론의 규칙이 이미 있었습니다: "검증 레이어를 추가하기 전에 baseline 오류율부터 재고, 0%면 추가 금지." 그래서 붙이기 전에 재기로 했습니다.

진행 방법

1) 귀속표 — 이미 있는 것부터 확인

확장 요소 10개를 제 하네스와 대조했습니다. 결과: 7개는 이미 보유(Proof Artifact, Code as Gate, 검증, 완료 기준, 롤백 등), 1개 부분, 부재는 2개뿐(리드백, 페어컨디션).

2) Baseline 측정 — 그런데 "잡은 것"만 세면 안 됩니다

리서치 번들 24개에 검증 스크립트를 전수 실행했습니다.

번들 24 | 통과 23 · 실패 1 | errors 4

실패 1건의 오류 4건은 전부 기존 게이트가 잡아낸 것이었습니다. 그래서 1차 판정을 이렇게 냈습니다 — "검출은 100% 작동한다. 신규 레이어는 파레토 지배 실패. 추가 불필요."

이 판정이 틀렸습니다. 잡힌 것만 세고 놓친 것을 안 셌기 때문입니다. 게이트를 게이트의 출력으로 평가하면, 게이트가 못 보는 영역은 영원히 안 보입니다.

그래서 게이트 밖에서 독립 측정했습니다: raw 파일 실물 ↔ 매니페스트 등재 ↔ 수집 도구 기재를 직접 대조. 여기서 검사조차 안 하던 항목이 나왔습니다 — 계약서는 "수집 도구/버전을 기록하라"고 요구하는데, 검증 스크립트에 그 검사가 없었습니다.

(2차 판정도 틀렸습니다. 처음엔 "검출률 0%인 구멍이 8.3%"라고 썼는데, 확인해보니 한 건은 해당 번들이 draft 상태였고 스크립트가 draft엔 경고만 내도록 설계돼 있었습니다. 규칙을 안 읽고 구멍이라 단정한 겁니다. 실질 결함은 1건, 4.2%였습니다.)

3) 검사 1개 추가 — 그리고 오탐 2라운드

파레토 판정: baseline이 0%가 아니고, 계약서가 이미 요구하며, 비용은 조건 1개. 지배 성립. 리드백·페어컨디션은 관측 0건이라 추가하지 않았습니다.

조건 하나를 넣고 전 번들에 회귀 테스트를 돌렸더니:

라운드

실패 번들

오탐 원인

1차 패치

1 → 9

도구 정보를 객체로만 인정. 실제로는 문자열로 온전히 적어둔 번들이 있었음 → 건강한 번들 3건 오판

2차 패치

9 → 6

필드명이 표류하고 있었음 — 계약서는 capture_tool인데 실제 번들 다수는 tool 사용 → 건강한 번들 5건 오판

3차 패치

6 → 1

오탐 0. 진짜 결함 1건만 남음

1차 패치 직후 "작동한다"고 채택했다면 멀쩡한 번들 8개를 결함으로 낙인찍었을 것입니다. 과교정이 실제로 재현됐고, 덤으로 제 저장소에 스키마 표류가 있다는 걸 처음 발견했습니다.

결과와 배운 점

결과

  • 검사 1개 추가(리드백·페어컨디션은 미추가 — 관측 0건)

  • 미종결 실패 전건 종결 → 번들 24 / 24 통과, errors 0

  • 종결 과정에서 발견: 실패했던 번들의 근거가 없는 게 아니라 원장 등재만 빠져 있었습니다. 원문 파일 안에 URL·수집시각·도구까지 다 적혀 있었어요. 검사가 "없는 정보"가 아니라 "엉뚱한 곳에 있던 정보"를 드러낸 셈입니다

  • 네거티브 주장 하나를 강등했습니다 — "검색으로 확인되지 않았다"를 사실로 표기했었는데, 그러면 "검색 범위 밖 부존재"까지 사실로 읽힙니다. 못 찾음은 없음의 증거가 아니니까요

시행착오

  1. 판정이 세 번 뒤집혔습니다(추가 불필요 → 검출률 0% → 실질 1건). 매번 근거를 한 겹 더 파서 뒤집혔는데, 뒤집힌 이력을 지우지 않고 남긴 것이 이번 산출물의 절반입니다.

  2. 가장 뼈아픈 오류는 따로 있었습니다. 제가 "검증기가 2회 거부한 뒤 통과했다 = 게이트 실작동 증명"이라고 보고했는데, 감사 로그를 열어보니 그 기록이 없었습니다. 다른 세션의 작업 일지를 원문 대조 없이 인용한 겁니다. 며칠 전 제가 만든 규칙("에이전트가 준 신규 사실은 원문 대조 전엔 미확인")을 제가 어겼고, 경유 주체가 사람이어도 똑같이 적용된다는 걸 배웠습니다.

  3. 소급 복구한 해시에는 한계를 명기했습니다 — 그건 캡처 시점 해시가 아니라 등재 시점 해시라서, 그 사이 무변경을 증명하지 못합니다. 정황 증거만 있습니다.

꿀팁

  • 게이트 평가는 잡은 것이 아니라 놓친 것으로 하세요. 게이트의 출력만 보면 사각지대는 절대 안 보입니다.

  • 검증 장치를 추가할 땐 회귀 테스트를 먼저 돌리세요. 저는 오탐을 두 번 걷어내야 했습니다.

  • "확인 못 함"은 통과가 아닙니다. 별도 상태로 남기세요.

도움이 필요한 부분

  • 스키마가 표류할 때(같은 뜻의 필드가 두 이름으로 공존) 계약서를 실제 사용형에 맞추시나요, 마이그레이션하시나요? 지금은 둘 다 인정하는 상태로 뒀는데 임시방편 같습니다.

  • 게이트의 사각지대를 주기적으로 찾는 방법이 있을까요? 이번엔 우연히 발견했는데, 우연에 기대고 싶지 않습니다.

도움 받은 글

  • 스터디 2주차 강의 — 확장 과제 요소와 "조금씩만 배치" 경고

  • 「하네스를 꽉 잡는다고 좋은 게 아니다」(지피터스) — 검증 레이어 추가 전 baseline을 재라는 원칙의 출처

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.03

루다2님, 이 글의 가장 큰 성취는 검사 하나를 추가한 결과보다 ‘추가 불필요→검출률 0%→실질 결함 1건’으로 판정이 세 번 뒤집힌 이유를 그대로 공개한 데 있다고 느꼈어요. 처음에는 게이트가 잡은 오류만 세었고, 다음에는 draft 예외 규칙을 읽지 않은 채 구멍으로 셌다가, raw 파일·매니페스트·수집 도구를 독립 대조하면서 비로소 4.2%의 실제 결함으로 좁혔죠. 검증기를 자기 출력으로 평가하면 사각지대가 보이지 않는다는 교훈이 글의 전개 자체로 증명됩니다.

검사 조건 하나를 넣은 뒤 실패 번들이 1→9→6→1로 움직인 과정도 중요해요. 객체만 인정한 1차 패치와 capture_tool만 인정한 2차 패치가 건강한 번들 8건을 오판했고, 문자열/객체 표현과 tool/capture_tool 표류를 모두 읽은 3차에서야 오탐 0, 진짜 결함 1건이 남았습니다. 결국 원장 누락을 복구해 24/24, errors 0으로 닫았고, 근거 없는 부존재 주장과 감사 로그에 없던 ‘2회 거부’ 서술까지 스스로 강등한 태도가 이 결과를 믿을 수 있게 합니다.

독자에게 남는 방법은 검증을 더 많이 붙이는 법보다, Gate 밖 oracle로 놓친 것과 오탐을 함께 재는 법이에요. 계약서, raw 실물, 매니페스트, 수집 기록을 서로 독립된 표로 맞추고, ‘못 찾음’을 ‘없음’과 분리하며, 소급 해시는 캡처 시점 무변경을 증명하지 못한다고 제한하는 식이죠.

이미 계약서가 capture_tool을 요구하고 있으니, 특별한 하위 호환 사유가 없다면 현재 tool/capture_tool을 둘 다 허용하는 상태는 영구 규칙보다 호환 기간으로 두는 편이 안전해 보여요. 다만 기존 24개 bundle과 원래 hash는 역사적 증거로 그대로 보존하고, 새 writer만 capture_tool을 쓰게 한 뒤 reader가 기존 별칭을 normalized read model로 투영하면서 별칭 사용 건수와 source-object hash를 함께 남기는 방식이어야 해요.

사각지대 점검은 이번에 성공한 독립 대조를 작은 회귀 세트로 고정하면 됩니다. 정상 번들, 필드 누락, 별칭만 사용, 타입 변경, raw에는 있으나 원장에는 없는 fixture를 하나씩 두고, 게이트가 예상한 PASS/FAIL을 내는지 변경 때마다 확인하는 거예요. 운영 번들에서는 일정 표본을 Gate 출력과 무관하게 raw↔manifest↔collector로 재대조해 fixture에 없던 놓침을 별도 ledger에 넣으면, 알려진 구멍은 mutation fixture가, 새로운 구멍은 독립 표본 감사가 맡게 됩니다.

가장 작은 다음 장면은 canonical capture_tool fixture 1개와 legacy tool-alias fixture 1개를 비파괴 복사본으로 만들어, 둘이 같은 normalized read model로 해석되고 별칭 사용 횟수가 집계되는지 확인하는 pilot입니다. 이 두 fixture가 기대한 PASS를 내고 원본 hash가 그대로인 것을 확인한 뒤에만, 24개 전체는 원본을 보존한 versioned normalized copy나 alias→canonical projection으로 옮기고, 새 writer와 readback이 충분히 증명됐을 때 compatibility branch 제거를 검토하면 돼요.

자연어회계처리 프로필 이미지

오오 오탐 탐지기 되엇다라는거 부터가 개선점이 잡힌거고 현재 시스템자체에서 파레토열등이라 개선여지로 최적을 갈수잇다라는 긍정적인신호입니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기