[Claude Code] 내가 만든 검사 장치가 117개를 통째로 못 보고 있었다 — AI 결과물을 믿는 법
📝 한줄 요약
AI가 만든 결과물을 채점하는 기준표를 만들고 다섯 번 돌렸습니다. 만점이 나온 뒤에도 결함이 계속 나왔고, 마지막엔 채점하는 장치 자체가 틀렸다는 걸 발견했습니다.
바쁘시면 이것만 읽어도 돼요:
AI에게 "잘 만들어줘"라고 하면 잘 만들어 옵니다. 문제는 잘 만들어졌는지 제가 알 수 없다는 것이었습니다.
그래서 채점표를 만들게 했습니다. 3회 돌리니 만점이 나왔는데, 그 뒤로도 결함이 계속 나왔습니다. 채점표가 못 보는 축이 있었던 겁니다.
채점을 사람 눈에서 검사 장치로 옮겼더니, 이번엔 검사 장치에서 결함이 7건 나왔습니다. 없는 잘못을 있다고 하고, 있는 잘못을 못 봤습니다.
마지막에 제일 큰 게 나왔습니다. 검사 장치가 설치된 목록을 한 칸만 들여다보고 있어서, 117개를 통째로 못 보고 있었습니다.
그 결과 AI가 "이건 존재하지 않습니다"라고 다섯 번 자신 있게 적었던 것이 전부 존재했습니다.
배운 것: "없습니다"와 "못 찾았습니다"는 다른 말입니다. AI에게 이 둘을 구분해서 말하게 해야 합니다.
🎯 이런 분들께 도움돼요
AI가 만들어 준 결과물을 어디까지 믿어야 할지 모르겠는 분
"확인했습니다", "없습니다" 같은 답을 받았을 때 한 번 더 물어봐야 하나 망설이는 분
AI에게 검토나 검수를 시켜 본 적 있는 분
회의록·보고서처럼 틀리면 곤란한 문서를 AI로 만드는 분
😫 문제 상황 (Before)
AI에게 일을 시키면 결과가 나옵니다. 그럴듯합니다. 그런데 그게 잘 된 건지 제가 알 방법이 없었습니다.
특히 이런 게 반복됐습니다.
"개선했습니다"라고 하는데 뭐가 좋아졌는지 모르겠다. 파일은 길어졌고 문장은 그럴듯해졌는데, 실제로 쓸 때 나아졌는지는 써 봐야 압니다.
"확인했습니다"를 믿어도 되나. AI가 자신 있게 답하면 그냥 넘어가게 됩니다. 그런데 나중에 보면 안 맞는 경우가 있었습니다.
같은 실수가 다른 파일에서 또 나온다. 한 곳을 지적하면 그 곳은 고쳐지는데, 같은 종류의 문제가 다른 파일에 그대로 남아 있었습니다.
그래서 채점표를 만들어 보기로 했습니다. 사람이 매번 눈으로 보는 대신, 기준을 정해 두고 거기 맞춰 점수를 내게요.
🛠️ 사용한 도구
도구: Claude Code
모델: Claude Opus 5
대상: 제가 AI와 만든 업무 자동화 흐름 6~7개 (회의록, 미팅 자료, 문서 검수, 측정 보고서 등)
🔧 작업 과정
한 문장에 다섯 단계를 넣었다
처음 요청은 이랬습니다. 화살표로 이어 붙인 한 문장입니다.
회의록 및 미팅 자료 제작 스킬 개선할 만한 부분이 있다면 개선해봐
개선 후 스킬을 검증할 수 있는 루브릭을 만들어봐 -> 루브릭이 너무 허술하잖아 놓친부분은 없니? -> 보완해서 루브릭으로 평가해 -> 개선해(3회반복)
개선하고, 채점표를 만들고, 그 채점표를 스스로 비판하고, 다시 채점하고, 또 개선하는 걸 3회. 한 번에 다 던졌습니다.
결과가 흥미로웠습니다.
1회차: 54점 / 60점
2회차: 60점 / 60점
3회차: 60점 / 60점
만점이 나왔습니다. 그런데 그 뒤로도 결함이 계속 나왔습니다.
만점은 "결함이 없다"가 아니라 "이 채점표가 보는 범위 안에서는 문제가 없다"였던 겁니다. 채점표 자체가 못 보는 축이 있었던 거죠.
채점을 사람 눈에서 장치로 옮겼다
만점이 의미 없다는 걸 알고 나서, 채점 방식을 바꿨습니다. "채점자가 읽어 보고 판단한다"에서 "검사 장치를 돌려서 그 결과를 인용한다"로요.
표가 몇 열인지, 셀이 몇 글자인지, 같은 숫자가 여러 군데 적혔는지 — 이런 건 사람이 세는 것보다 기계가 세는 게 낫습니다.
그리고 여기서 제가 계속 놓치던 것들이 드러났습니다.
제가 직접 쓴 문서에서 표가 규정보다 넓은 게 세 라운드 연속으로 나왔습니다. 검사 장치가 매번 잡았고, 저는 매번 눈으로 못 봤습니다. AI가 이걸 이렇게 정리하더군요.
부주의가 아니라 표를 쓸 때 열 수를 세지 않는 습관이고, 습관은 검사로만 막힙니다.
이번엔 검사 장치가 틀렸다
검사 장치를 돌리기 시작하니 새로운 종류의 문제가 나왔습니다. 검사 장치 자체의 오류입니다.
일곱 건이 나왔는데, 종류가 두 가지였습니다.
없는 잘못을 있다고 한 것.
문서 맨 위의 설정 부분을 본문으로 착각해서, 존재하지 않는 위반 5건을 보고
규칙상 일부러 세 번 적게 되어 있는 항목을 "중복"이라고 판정
표 안에서 특수 기호로 쓴 세로줄을 열 구분자로 세어서, 4열 표를 6열로 판정
있는 잘못을 못 본 것. 이쪽이 더 무섭습니다.
목록을 적는 방식이 두 가지인데 한 가지만 읽을 줄 알아서, 연결 관계 25개 중 5개를 통째로 누락했습니다
AI가 이걸 이렇게 적었습니다.
결함을 못 본 것이 아니라 세지 않은 것이었습니다.
이 문장이 오래 남았습니다. 검사가 "이상 없음"이라고 말할 때, 그게 정말 이상이 없어서인지 애초에 그 부분을 보지 않아서인지는 다른 문제니까요.
그래서 이때부터 라운드마다 "검사 장치의 결함"과 "검사 대상의 결함"을 따로 적기 시작했습니다.
마지막 반전 — 117개를 못 보고 있었다
며칠 뒤, 만든 작업 흐름을 사내 AI 봇에 등록하려고 봇 쪽 폴더를 열어 봤습니다.
그리고 이상한 걸 봤습니다.
며칠 전에 AI가 "이 이름은 어디에도 존재하지 않습니다"라고 다섯 번 적어 둔 것들이 있었는데, 그 중 하나가 봇 폴더 안에 버젓이 있었습니다.
확인해 보니 다섯 개 전부 있었습니다.
원인은 이랬습니다. 검사 장치가 설치된 목록을 훑을 때 폴더를 한 단계만 들여다보고 있었습니다. 그런데 실제 구조는 두 단계였습니다. 분류 폴더가 하나 더 있었던 거죠.
한 칸 차이로 설치된 117개가 통째로 안 보였습니다.
이게 왜 심각했냐면, 며칠 전 보고서에 이렇게 적혀 있었기 때문입니다.
연결이 끊긴 항목 11건. 그중 2건은 치명적 — 이 작업 흐름들은 자기 규정상 실행이 불가능한 상태입니다.
그럴듯한 발견이었습니다. 저는 믿었고, 그 근거로 파일 여러 개를 고쳤습니다. 그런데 그 발견 자체가 못 본 것을 없다고 적은 것이었습니다.
AI가 이 사실을 확인하고 스스로 이렇게 적었습니다.
못 본 것을 없다고 적은 것입니다.
어떻게 되돌렸나
여기서 AI가 한 처리가 좋았습니다. 그냥 "죄송합니다" 하고 원래대로 되돌리지 않았습니다.
첫째, 장치부터 고쳤습니다. 폴더를 끝까지 훑도록 바꿨습니다. 117개가 보이기 시작했습니다.
둘째, 잘못된 기록을 사실대로 고쳤습 니다. "존재하지 않음"이라고 적어 둔 다섯 건을 전부 "존재함 + 실제 위치 + 확인 날짜"로 바꿨습니다. 본문에 "이건 어디에도 없다"고 단언한 문장도 10곳 찾아 고쳤습니다.
셋째 — 이게 제일 인상적이었는데 — 결론은 그대로 두되 이유를 바꿔 적었습니다.
원래 "대상이 없어서 연결을 끊었다"고 되어 있던 걸, 다시 연결하지는 않았습니다. 대신 이렇게 바꿨습니다.
되돌리지 않은 이유는 따로 있습니다 — 앞서 실행해야 하는 게 아니라 입력 조건이기 때문입니다.
결론은 같은데 근거가 달라진 겁니다. AI가 이렇게 설명하더군요.
결론은 같아도 근거가 틀렸으면 근거를 고쳐야 합니다.
이 태도가 제일 마음에 들었습니다. 결과만 맞으면 됐다고 넘기지 않은 것이요.
✅ 결과 (After)
Before vs After
항목
Before
After
결과물 판정
AI가 "개선했습니다" 하면 그런가 보다
검사 통과해야 저장. 통과 못 하면 안 넘어감
놓치던 것
표 규정 위반이 세 라운드 연속 통과
매번 잡힘
"없습니다"라는 답
그대로 믿음
어디를 어떻게 찾았는지 함께 적게 함
검사 장치
없음
있음. 그리고 검사 장치도 채점 대상
오류 정정
결과만 고침
근거까지 고침
숫자로
채점 라운드: 5회
검사 대상에서 나온 결함: 라운드마다 계속
검사 장치 자체에서 나온 결함: 8건 (7건 + 마지막 117개 건)
사실과 다르게 기록됐던 항목: 5건 (전부 정정)
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
"없습니다"를 들으면 "어디를 찾았는지" 물어보세요. 이번 일의 핵심입니다. AI가 "존재하지 않습니다"라고 할 때, 그게 정말 없어서인지 찾은 범위 안에 없어서인지는 다릅니다. 어디를 어떻게 찾았는지 같이 적게 하면 이 차이가 드러납니다.
채점표를 만들었으면 채점표도 채점하세요. 만점이 나오면 기분은 좋은데, 만점은 "그 기준으로는 문제없음"이지 "문제없음"이 아닙니다. "이 기준이 못 보는 게 뭐야?"를 따로 물어보는 게 좋았습니다.
눈으로 보는 것과 세는 것을 구분하세요. 저는 표가 규정보다 넓은 걸 세 번 연속 놓쳤습니다. 스크롤로 훑으면 안 보입니다. 세게 하면 나옵니다. 사람 눈은 "대충 괜찮아 보이는 것"을 통과시킵니다.
검사 결과와 검사 도구의 문제를 따로 적게 하세요. "3건 발견"이라고만 하면 그게 진짜 3건인지, 검사가 잘못 센 3건인지 모릅니다. 라운드마다 둘을 나눠 적게 하니 훨씬 명확해졌습니다.
틀린 걸 알았을 때 근거까지 고치게 하세요. "결론은 맞으니까 됐다"로 넘어가면, 그 근거가 다음에 또 쓰입니다. 결론이 같아도 근거가 틀렸으면 근거를 고쳐야 합니다.
이렇게 하면 안 돼요
"확인했습니다"를 그대로 믿지 마세요. AI는 확신 있게 말합니다. 근데 확신은 정확도가 아닙니다. 특히 "없다", "전부", "모두" 같은 단정에는 근거를 물어보는 게 좋습니다.
한 곳을 지적하고 다 고쳐졌다고 생각하지 마세요. 지적한 곳만 고쳐지는 경우가 많습니다. "같은 문제가 다른 파일에도 있어?"를 따로 물어야 합니다.
점수가 올랐다고 좋아지지 않았을 수 있습니다. 한 라운드에서 점수가 5점 올랐는데, 확인해 보니 기준 자체를 조정해서 오른 거였습니다. AI가 그걸 이렇게 적었더군요 — "이번 상승은 개선이 아니라 재조정입니다." 물어보면 답해 줍니다.
검사를 건너뛰고 "통과"로 적지 마세요. 도구가 없어서 검사를 못 한 경우가 있었는데, 그걸 통과로 적지 않고 "확인 못 함"으로 남기게 했습니다. 이게 나중에 훨씬 도움이 됩니다.
🌍 다른 업무에 적용한다면?
이건 개발 이야기가 아니라 "AI가 한 일을 어떻게 검수할 것인가" 이야기입니다.
AI로 만든 보고서를 검수할 때 — "빠진 항목 없어?"보다 "어떤 목록과 대조했어?"가 낫습니다
자료 조사를 시켰을 때 — "찾은 게 없습니다"를 받으면 어디를 찾았는지 물어보세요. 검색 범위가 좁았을 수 있습니다
번역이나 요약을 맡겼을 때 — 원문에서 빠진 부분을 세게 하세요. 읽어 보고 판단하는 것과 세는 것은 다릅니다
여러 문서를 한꺼번에 고칠 때 — 한 곳 고치고 나머지에 같은 문제가 있는지 반드시 따로 물어보세요
🚀 앞으로의 계획
검사 항목 늘리기. 이번에 눈으로 잡은 결함(표 잘림, 페이지 빈 공간)을 검사 항목으로 넣었습니다. 앞으로도 눈으로 잡히는 게 나오면 그때마다 검사에 넣을 생각입니다. 사람이 두 번 놓친 건 검사로 옮긴다는 원칙으로요.
"찾은 범위"를 기본으로 적게 하기. 이번 일 이후로 "없습니다"라고 할 때 어디를 어떻게 찾았는지 함께 적는 규칙을 넣었습니다. 다른 작업에도 적용해 보려고 합니다.
실제로 돌려 보기. 지금까지 확인한 건 대부분 "문서가 규칙에 맞는가"입니다. 실제로 써 보고 결과가 좋은지는 또 다른 문제입니다. 이건 아직 확인 못 했고, 확인 못 했다고 기록해 뒀습니다.
📋 재사용 가능한 프롬프트
프롬프트 1: "없다"를 검증하기
방금 "[대상]이 없다"고 했는데, 확인 방법을 알려줘.
어느 위치를 찾았는지 (전부 나열)
어떻게 찾았는지 (명령어나 방법)
그 방법이 놓칠 수 있는 경우는 없는지
"찾지 못했다"와 "존재하지 않는다"를 구분해서 답해줘.
프롬프트 2: 채점표를 채점하기
방금 만든 기준표로 채점해서 만점이 나왔는데, 이 기준표가 못 보는 게 뭐야?
이 기준으로는 절대 안 걸리는 종류의 문제를 3가지 이상 들어줘
그중 실제로 일어날 가능성이 있는 걸 골라줘
그걸 잡으려면 기준을 어떻게 고쳐야 하는지 알려줘
기준을 고친 뒤에는, 고치기 전 결과와 후 결과가 어떻게 달라졌는지 같이 보여줘.
프롬프트 3: 검사 도구와 검사 대상 분리하기
검사 결과를 보고할 때 두 가지를 나눠서 적어줘.
검사 대상에서 나온 문제 — 실제 결함
검사 도구에서 나온 문제 — 잘못 센 것, 못 센 것
특히 2번을 빼먹지 마. "이상 없음"이 진짜 이상이 없어서인지 그 부분을 안 봐서인지 구분해야 하니까.
프롬프트 4: 같은 문제가 다른 곳에도 있는지
방금 [파일 A]에서 고친 문제 있잖아. 같은 종류의 문제가 다른 파일에도 있는지 전부 확인해줘.
몇 개 파일을 확인했는지 숫자로 알려줘
확인 안 한 파일이 있으면 왜 안 했는지 알려줘
지적한 곳만 고치지 말고 같은 규칙을 전부 적용해줘
프롬프트 5: 점수가 오른 이유 확인하기
이번 라운드 점수가 올랐는데, 결과물이 좋아져서 오른 거야, 기준을 바꿔서 오른 거야?
기준을 조정했다면 어디를 어떻게 조정했는지, 그리고 예전 기준으로 다시 채점하면 몇 점인지 알려줘.
