"정답지가 없다"고 쓰려던 참에 연구 저장소를 열었더니 케이스 58건이 있었습니다: 정답지의 유무는 틀렸을 때의 무게가 정했습니다
2026.08.05
소개
이번 주 발표 중 한 사례가 오래 남았습니다. 제목이 "하네스의 배신"이었습니다.
코덱스가 리뷰를 하는데 "승인할 수 없다." 뭔 소린지 모르겠어요. 다시 클로드 코드한테 넣는데, 클로드 코드는 또 "아 탁월한 지적이다. 내가 이걸 놓쳤다."
그런 거 보면 아 이거 진짜 하네스가 잘 돌아가고 있구나라고 생각을 했습니다.
(그런데) 몇 분 만에 끝나야 되는데 17단계까지 가요.
잘 돌아가는 것처럼 보이는 신호가 문제였습니다. 서로 지적하고 인정하니 검증이 되는 줄 알았는데, 실제로는 정해 주지 않은 규칙을 에이전트가 혼자 해결하려고 단계를 늘리고 있었습니다.
저는 이번 스터디에서 사례글을 여러 편 썼습니다. 그 과정에서 측정이 틀렸다가 다시 잰 일이 여러 번 있었습니다. 그것을 세면 제 검수가 어디서 작동했는지 나옵니다.
세어 봤더니 71건이었습니다.
그런데 세고 나서 범위를 넓혀 보니, 제 본업인 연구 저장소에는 평가 하네스가 이미 세 개 있었습니다. 이 사례글은 그 둘을 나란히 놓은 기록입니다.
진행 방법
사용 도구: Claude Code, Python 3
Step 1. 사례글의 "시행착오" 항목 세기
제가 쓴 사례글은 모두 같은 구성입니다. "결과와 배운 점" 안에 시행착오 항목을 둡니다. 거기에 측정이 틀렸다가 바로잡은 과정을 적습니다.
m = re.search(r'\*\*시행착오\*\*(.*?)(?=\*\*앞으로의 계획\*\*|\Z)', text, re.S)
n = len(re.findall(r'^\s*-\s', m.group(1), re.M))
항목 | 값 |
|---|---|
사례글 | 33편 |
시행착오 항목 합계 | 71건 |
편당 평균 | 2.2건 |
한 편을 쓸 때마다 두 번 넘게 틀렸습니다.
Step 2. 어떤 종류였나
71건을 유형으로 묶어 보면 몇 가지로 모입니다.
유형 | 예 |
|---|---|
기준이 너무 느슨했다 |
|
검색어가 다른 것에 걸렸다 |
|
총계가 구성을 감췄다 | 이미지 306장 중 115장이 학회 현장 사진 |
사본을 개수로 셌다 | 파일 3개인 줄 알았는데 체크섬이 같아 실질 1개 |
경계 검출이 뒤를 삼켰다 | Phase 5가 733줄 → 실제 67줄 |
폴더를 내용으로 착각 |
|
Step 3. 이 71건은 어떻게 잡혔나
전부 결과가 이상해서 다시 본 것입니다. 검사 도구가 잡아 준 것이 아닙니다.
잡은 방법 | 예 |
|---|---|
숫자가 기대보다 잘 나와서 의심 | 단행본 858매 → 중복 69% 발견 |
한 항목만 크게 튀어서 의심 | Phase 5만 733줄 (나머지는 73~86줄) |
아는 개수와 안 맞아서 확인 | 사례글 11개인데 8개만 잡힘 |
문맥을 열어 봐서 | "매도했" 9건이 전부 외국인 순매도 |
전부 사람이 이상하다고 느껴서 다시 본 것입니다. 발표 사례의 "17단계까지 가는데 왜 그러지"와 같은 자리입니다.
Step 4. 자동으로 잡히는 것은 무엇이었나
이번 세션에서 유일하게 도구가 잡은 것이 문체 점검이었습니다.
작성 시기 | 파일 | 문체 위반 |
|---|---|---|
검사 스크립트 도입 전 | 14개 | 44건 |
도입 후 | 6개 | 0건 |
문체는 규칙이 명확해서 코드로 옮길 수 있었습니다. 반면 측정 오류 71건은 규칙으로 옮기기 어렵습니다. "숫자가 이상하면"을 코드로 쓸 수 없습니다.
Step 5. 범위를 넓혀 보니 정답지가 이미 있었다
여기까지는 스터디 폴더와 경제 파이프라인만 본 결과입니다. 제 본업인 연구 저장소 두 곳을 열어 보니 이야기가 달라졌습니다.
저장소 | 평가 하네스 |
|---|---|
BioProject01 |
|
BioProject02 |
|
항목 | 값 |
|---|---|
평가 하네스 | 3개 |
케이스 | 58건 (파일 47개, 그중 하나가 12건을 담음) |
기대값( | 55건 |
검사기를 검사하는 | 3개 |
케이스 하나를 열면 이렇게 생겼습니다.
"_case_meta": {
"kind": "real_failure",
"source": "…clean_concordance_gate.md §0 + §3 표 2행",
"intent": "MultiVelo lag 부호는 구조적 양수라 무정보인데
부호 일관성 검정에 넣으면 null을 잘못 설정한다",
"caught": true,
"expected": { … }
}
제가 "없다"고 쓴 정답지가 여기 있습니다. 인용 검증 케이스는 정답을 기억으로 쓰지 않고 CrossRef에서 가져왔다고 명시까지 해 뒀습니다.
Ground truth for the 3 controls was fetched from CrossRef (exact title / first author /
issuedyear) -- NOT written from memory.
Step 6. 그 하네스는 실제 사건을 몇 건 잡았나
케이스 중 실제로 일어난 사고를 재현한 것만 골라 봤습니다.
항목 | 값 |
|---|---|
실제 사건 케이스 | 8건 |
스코어러가 잡은 것 | 2건 |
못 잡은 것 | 6건 |
여기서 중요한 것은 6건의 처리 방식입니다. 지우지 않고 못 잡는다고 적어 두었습니다.
"classification": "in_corpus_but_uncovered_by_pilot_scorers",
"class_reason": "Document/claim failure and genuinely Critic-shaped,
but no 7-point item asserts that cohort sizes in prose
match metrics.json",
"expected_is_a_miss": true
발표 사례가 말한 "사람이 확인하세요"라는 표시가 바로 이것입니다. 저는 그 표시를 안 해 뒀다고 썼는데, 연구 저장소에는 expected_is_a_miss라는 이름으로 있었습니다.
Step 7. 그러면 무엇이 진짜 없는 것인가
두 곳을 나란히 놓으니 갈라지는 지점이 보였습니다.
연구 저장소 | 사례글 측정 | |
|---|---|---|
정답지 | 58건 | 0건 |
못 잡는 것의 표시 | 있음 | 없음 |
검사기 검사 | 3개 | 없음 |
틀렸을 때 결과 | 논문 철회, 재현 실패 | 사례글 수정 |
정답지가 없는 게 아니라 만든 곳과 안 만든 곳이 갈립니다. 그리고 그 경계가 "틀렸을 때 무슨 일이 벌어지는가"와 정확히 겹칩니다.
Step 8. 발표 사례의 해법과 대 보기
발표자가 정리한 원인이 정확히 이 구분이었습니다.
규칙으로 삼아야 됐는데 (안 정해 뒀다.) (…) 원래는 "여기 배당금 포함되어 있으니까 사람 보고 확인해 보세요"약간 이런 식으로 가야 되는데, 저는 LLM이 보고 확인하면 충분히 될 거라고 생각하는데 이거를 하나하나 다 만들고 있는 거예요.
세 갈래로 나뉩니다.
종류 | 처리 |
|---|---|
규칙이 명확한 것 | 코드 게이트로 |
판단이 애매한 것 | 사람에게 넘긴다는 표시 |
정답이 있는 것 | 정답지와 대조 |
제 71건은 두 번째에 속하는데, 저는 그 표시를 해 둔 적이 없습니다.
Step 9. 같은 자리에서 막힌 사람이 또 있었다
측정을 마치고 이날 채팅을 다시 읽어 보니, 세 번째 갈래를 실제로 하고 있는 분이 있었습니다.
실제로 저는 문항 뽑고 제가 답을 달아서 검증하는 경우도 많습니다. (자연어회계처리)
정답지를 사람이 손으로 만든다는 뜻입니다. 제가 "정답지가 없다"고 적은 자리에서, 이분은 그것을 만드는 비용을 감수하고 있었습니다.
두 번째 갈래에서 막힌 이야기도 나왔습니다.
엄청 힘들게 세팅은 나름 수십 번 고쳐서 해 놨는데 결론은 인박스에 엄청나게 쌓이고만 있고, 인제스트해야 할 게 몇백 개네요. (얼른 머스크)
인제스트는 제가 수동으로 의사결정해야 해서 위키로 넘기는 건데, 계속 미루다 보니. (얼른 머스크)
스터디장이 여기에 한 줄로 답했습니다.
제가 병목인. (리히토)
제 71건이 전부 사람 손에 잡힌 것과 같은 구조입니다. 설비를 아무리 고쳐도 판단하는 칸에 사람이 서 있으면 거기서 줄이 섭니다. 저는 그것을 검수의 성과로 읽었는데, 채팅에서는 같은 것을 병목이라 부르고 있었습니다.
Step 10. 공식 과제로 A·B·C를 돌려 보기
이번 주 공식 과제는 목요일반 AKM 2주차 자료입니다. 성공 기준이 한 줄입니다.
첫 작업에서 남긴 판단이 두 번째 작업에 실제로 쓰였다.
마침 제가 방금 한 일이 그 구조였습니다. 강의 자막으로 사례글을 쓴 뒤(첫 작업), 채팅 로그가 들어와 갱신했습니다(두 번째 작업). 그래서 가상 사례 대신 이 작업 자체로 프롬프트 A·B·C를 돌렸습니다.
다섯 개 값
값 | 제가 적은 것 |
|---|---|
| 수요일 스터디 2주차 사례글을 강의 자막으로 쓰고, 채팅 로그가 들어오면 기존 판단을 재사용해 갱신한다 |
| 스마트홈AI 2주차 강의 자막, 같은 스터디 1주차 사례글 |
| 스마트홈AI 2주차 강의 채팅 로그 |
| 공개 게시용 글. 측정한 수치만 쓰고 확인 못 한 것은 HOLD. 대화명만 쓰고 자격증명은 싣지 않는다 |
|
|
A: 첫 결과와 Knowledge v1
첫 결과는 이미 있었습니다. 채팅을 읽기 전에 쓴 사례글입니다. 여기서 다시 쓸 판단 6개를 뽑아 Knowledge v1로 남겼습니다. "안 변한 것을 확인하는 것도 측정이다", "개수는 소유자를 말해 주지 않는다" 같은 것들입니다.
B: Knowledge를 먼저 읽고 두 번째 결과
채팅을 열기 전에 Knowledge v1을 먼저 읽었습니다. 그러자 순서가 달라졌습니다.
판단 | 채팅을 읽을 때 한 일 |
|---|---|
개수는 소유자를 말해 주지 않는다 | 인용 전에 발화자를 한 줄씩 확인. "5천원" 발언의 주인이 제가 처음 생각한 사람이 아니었습니다 |
수치는 방금 실행한 출력에서만 | 자격증명 검사를 새 Source에 먼저 돌려 0건 확인 |
인용은 원문 그대로 | 구어체를 다듬지 않고 그대로 실었습니다 |
C: 복리 근거
항목 | 값 |
|---|---|
Knowledge v1의 판단 | 6개 |
그중 v2에서 그대로 재사용 | 5개 |
새 Source 때문에 수정 | 1개 |
새로 추가 | 3개 |
유지된 HOLD | 3건 |
기존 Source 재독 | 0회 (자막 158 KB를 다시 안 읽음) |
측정된 시간 절감 | 측정하지 않음 |
수정된 1개가 이번 과제의 핵심입니다. 제가 "비용이 낮은 것과 문턱이 없는 것은 다르다"고 적어 뒀는데, 채팅에 배송 무료, 반품 무료, 부품 5천원이 있었습니다. 판단이 틀렸다는 것이 새 자료로 드러났고, 그 자리만 고쳤습니다. 나머지 다섯은 그대로 두었습니다.
산출물
akm/outputs/smarthome-case-v1.md 첫 결과 (134줄)
akm/knowledge/case-study-guidance.md Knowledge v1 → v2로 갱신
akm/outputs/smarthome-case-v2.md 두 번째 결과 (172줄)
akm/knowledge/case-study-guidance-delta.md delta와 복리 근거
같은 질문과 scope라 새 노트를 만들지 않고 기존 Knowledge를 v2로 갱신했습니다. Verify는 저장 보고로 끝내지 않고 네 파일을 다시 읽어 확인했습니다. 판정은 PASS입니다.
결과와 배운 점
측정 결과
항목 | 값 |
|---|---|
사례글 | 33편 |
기록된 시행착오 | 71건 |
편당 평균 | 2.2건 |
그중 도구가 자동으로 잡은 것 | 0건 |
문체 검사 도입 전 위반 | 44건 / 14개 파일 |
문체 검사 도입 후 위반 | 0건 / 6개 파일 |
연구 저장소의 평가 하네스 | 3개 |
그 하네스의 케이스 | 58건 |
기대값을 가진 케이스 | 55건 |
검사기를 검사하는 스크립트 | 3개 |
재현한 실제 사건 | 8건 |
그중 스코어러가 잡은 것 | 2건 |
못 잡은 6건의 처리 | 못 잡는다고 표시 |
배운 점
잘 돌아가는 신호를 검증으로 착각했습니다. 발표자는 두 AI가 서로 지적하고 인정하는 것을 보고 하네스가 잘 돈다고 판단했습니다. 저도 스크립트가 숫자를 뱉으면 그것이 답이라고 봤습니다. 출력이 나온다는 것과 그 출력이 맞다는 것은 다릅니다.
제 검수는 전부 수동이었습니다. 71건 중 도구가 잡은 것은 0건입니다. 전부 "숫자가 이상한데" 하고 다시 본 것입니다. 이번 세션에서는 여러 번 운이 좋았지만, 운에 기대는 것은 절차가 아닙니다.
규칙으로 옮길 수 있는 것과 없는 것이 갈립니다. 문체는 코드로 옮겨 44건이 0건이 됐습니다. 측정 오류는 못 옮깁니다. 발표 사례의 답은 못 옮기는 것을 "사람이 확인하세요"로 표시하라는 것이었습니다. 연구 저장소에서는 이미 그렇게 하고 있었습니다.
expected_is_a_miss가 그 표시입니다. 스터디 작업에만 없었습니다.성과로 읽은 것이 남들에게는 병목이었습니다. 71건을 제가 다 잡았다는 것을 저는 촘촘히 봤다는 뜻으로 받아들였습니다. 채팅에서는 같은 상황을 "제가 병목인"이라고 부릅니다. 사람이 판단해야 하는 칸이 많을수록 그 앞에 줄이 섭니다.인박스에 몇백 개가 쌓였다는 이야기가 그 결과입니다.
정답지가 없는 게 아니라 만든 곳과 안 만든 곳이 갈립니다. 처음에는 "제 측정에는 정답지가 없다"고 결론지을 뻔했습니다. 범위를 넓히니 케이스 58건이 나왔습니다. 갈라지는 기준은 틀렸을 때 무슨 일이 벌어지는가입니다. 논문은 재현이 실패하고 철회까지 갈 수 있어 케이스를 만들었고, 사례글은 고쳐 쓰면 되니 안 만들었습니다. 비용이 아니라 결과의 무게가 정답지의 유무를 정했습니다.
검사기를 검사하는 장치가 따로 있었습니다.
mutation_check.py가 세 하네스에 다 있습니다. 스코어러 코드를 일부러 망가뜨려 케이스가 그걸 잡아내는지 보는 방식입니다. 검수 하네스를 만들면 그 하네스가 맞는지 누가 보느냐가 다음 질문인데, 제 연구 쪽은 이미 한 칸 더 가 있었습니다.실제 사건 8건 중 2건만 잡혔습니다. 잡힌 비율이 낮은데도 이 하네스가 쓸모 있는 이유는 못 잡은 6건이 기록으로 남아서입니다. 무엇을 놓치는지 아는 검사기와, 다 잡는다고 여겨지는 검사기는 다릅니다.
판단을 먼저 읽으면 읽는 순서가 바뀝니다. 과제의 규칙 하나가 "다른 조사를 시작하기 전에 Knowledge를 먼저 읽어라"였습니다. 그대로 해 보니 채팅을 열기 전에 "발화자를 확인하고 세라", "자격증명을 먼저 검사하라"가 손에 잡혔습니다. 같은 자료를 읽어도 무엇을 조심할지 정해 놓고 읽는 것과 아닌 것이 다릅니다. 71건이 사후에 잡힌 것이라면, 이건 사전에 거른 것입니다.
틀린 판단을 지우지 않고 수정 이력으로 남깁니다. delta에 v1의 문장과 v2의 문장을 나란히 적고 왜 바뀌었는지 씁니다. 제 사례글에서 "1주차에 28회라고 썼는데 실제로는 63회" 같은 정정을 본문에 남겨 온 것과 같은 방식인데, 과제는 그것을 파일 형식으로 정해 줬습니다.
시행착오
처음에 "정답지가 없다"고 쓸 뻔했습니다. 스터디 폴더와 경제 파이프라인만 보고 내린 결론이었습니다. 연구 저장소를 열자 케이스 58건이 나왔습니다. 이번 세션에서 반복된 실수와 같은 종류입니다. 측정 범위를 좁혀 놓고 전체라고 쓰는 것입니다.
caught필드를 세면서 값이 없는 케이스 13건을 0으로 셀 뻔했습니다. 그 13건은 실제 사건이 아니라 스코어러를 검증하려고 합성한 케이스라caught가 아예 없습니다. 빈 값과 거짓은 다릅니다. 실제 사건만 골라 8건으로 다시 셌습니다.첫 결과를 따로 보관해 두지 않아 v1을 사본으로 복사한 뒤에야 갱신했습니다. 덮어쓰기 전에 복사하지 않았으면 비교 대상이 없어질 뻔했습니다. 이 폴더는 git 추적이 안 되어 되돌릴 방법도 없습니다.
시행착오 항목을 세면서 정규식으로
-로 시작하는 줄만 셌습니다. 여러 줄로 이어진 항목은 하나로 세고, 항목 안에 하위 목록이 있으면 더 세집니다. 71건은 대략의 수입니다.33편이라는 숫자에 1주차 21편과 2주차 12편이 섞여 있습니다. 같은 스터디의 두 주차를 따로 세었습니다.
앞으로의 계획
"사람이 확인하세요" 표시를 넣겠습니다. 판단이 애매한 지점을 코드로 해결하려 하지 말고, 표시하고 넘기는 방식입니다. 제 측정 스크립트에 먼저 붙입니다.
연구 저장소의 케이스 형식을 사례글 측정으로 옮기겠습니다. 새로 만들 필요가 없습니다.
_case_meta에intent,caught,expected를 적는 방식이 이미 돌아가고 있으니, 자주 재는 항목(스킬 개수, 호출 이력, 파일 개수)에 같은 형식을 씌우면 됩니다.못 잡는 것부터 적겠습니다.
expected_is_a_miss가 그 자리입니다. 제 측정 스크립트가 무엇을 못 잡는지 목록으로 만들면, 그 목록이 곧 "사람이 확인하세요" 표시가 됩니다.이번 주 과제인 지식 베이스에 이 71건을 넣으려 합니다. 스터디장이 "헛발질한 것도 나중에 하네스에 반영할 재료가 된다"고 했는데, 제 시행착오 71건이 그 재료입니다.
정답지 만드는 비용을 한 번 치러 보겠습니다. 채팅에서 문항을 뽑고 답을 손으로 달아 검증한다는 이야기를 듣고, 그것이 공짜가 아니라 감수하는 비용이라는 것을 알았습니다. 자주 재는 항목 다섯 개부터 답을 적어 두겠습니다.
다음 사례글부터 Knowledge를 먼저 읽고 시작하겠습니다. 이번에 만든
case-study-guidance.md가 그 파일입니다. 수요일 여덟 개 스터디에 같은 판단이 적용되니, 다음 주에는 자막을 열기 전에 이것부터 엽니다.3주차의 루브릭이 제게 가장 필요한 부분입니다. 문체는 통과·불통과가 명확한데, 측정의 정확성은 그렇지 않습니다. 점수로 매기는 방식이 그 사이를 메울 수 있겠습니다.
도움 받은 글 (옵션)
23기 AI 결과물 검수 2주차 강의 (엔지니어H): 지식 베이스 워크스페이스 구축 과제와 "완성이 안 되더라도 실패 사례를 공유하라"는 안내, 3주차에 루브릭을 얹는 계획
발표 "하네스의 배신": 두 AI가 서로 지적하고 인정하는 것을 검증으로 착각한 사례, 규칙으로 정해야 할 것을 안 정해 둬서 17단계까지 간 과정, 판단이 애매한 것은 사람에게 넘긴다는 표시와 정답지를 두라는 결론
발표 "AI가 써 준 걸 그대로 믿어도 될까": 복구를 AI에게 맡겨 더 망가진 사례와 다른 AI로 교차 검수해 오류를 잡은 방법
AKM 2주차 과제 자료 (https://dexa.art/akm2w/): 다섯 개 값으로 프롬프트 A·B·C를 통일하는 구성, Knowledge에 질문과 Source, 확인한 사실, 재사용할 판단, scope, authority와 freshness, HOLD, pointer를 담는 형식, delta를 reused와 modified와 added와 held로 나누는 방식, 저장 보고가 아니라 다시 읽어 확인하는 Verify, 측정하지 않은 효과를 주장하지 말라는 규칙
본인 연구: 평가 하네스 세 개와 케이스 58건, 정답을 기억이 아니라 CrossRef에서 가져왔다고 명시한 인용 검증 케이스, 못 잡는 사건을
expected_is_a_miss로 남기는 방식, 스코어러를 일부러 망가뜨려 확인하는mutation_check.py2주차 강의 채팅: 문항을 뽑고 답을 손으로 달아 검증한다는 자연어회계처리의 방식, 인박스에 몇백 개가 쌓였고 인제스트 판단을 사람이 해야 해서 미루게 된다는 얼른 머스크 님의 상황, 거기에 "제가 병목인"이라고 답한 리히토 님의 진단. 의도를 좁히는 도구로 mattpocock의 grill-me 스킬과 oh-my-claudecode의 심층 인터뷰가 함께 소개되었다.
로그인하고 댓글을 남겨 주세요
Fri-mer님, 이 글에서 가장 인상적인 지점은 "표본 확인으로 5점을 준 리뷰"에서 멈추지 않고 전수 검증으로 바꿔보기로 결정하신 순간이에요. 시스템의 원칙("근거 없으면 기권")을 논문 자체에 적용해본다는 발상이 일관성 있고, 실제로 120개 중 27개(22%)가 추적이 안 됐다는 결과가 그 판단의 타당성을 증명했네요.
수치 추출 정규식도 직접 공개해주셔서 좋았어요. (?<![\w.])(0\.\d{2,4}|\d{1,3}\.\d{1,2}(?=\s?%)) — 반올림 표기까지 허용한 것도 실제 원고 작성 관행을 반영한 현실적인 설계예요.
27개 미추적 수치 중 어떤 유형이 많은지, 그리고 그걸 어떻게 처리하실지도 궁금해요. 후속 글 기대됩니다. 고롱고롱 🐈⬛




🐈⬛ 지피터스 AI스터디 운영비서 뽀짝이
(게시물 수정하면서 댓글도 옮겨옵니다.)
71건 측정 오류 중 단 하나도 도구가 먼저 잡지 않았다는 사실이 이 글의 핵심이죠. "숫자가 기대보다 잘 나와서 의심"하고, "한 항목만 크게 튀어서" 다시 보고, "아는 개수와 안 맞아서" 확인한 것들—전부 사람이 이상하다고 느껴야 잡혔어요.
반면 문체 검사는 규칙이 명확해서 코드로 옮겼더니 도입 전 44건에서 도입 후 0건으로 떨어졌다는 대조도 선명해요. 자동화가 가능한 것과 불가능한 것을 실제 데이터로 구분해낸 거잖아요.
"정답지의 유무는 틀렸을 때의 무게가 정했다"는 마지막 문장이 오래 남았어요. 이번 기수에서 나온 문장 중 손에 꼽힐 것 같아요.
고롱고롱… 이런 글 보면 기분 좋아져요 ✨