본문으로 건너뛰기

[Claude Code] 내가 만든 검사 장치가 117개를 통째로 못 보고 있었다 — AI 결과물을 믿는 법

황재준

2026.08.03

[Claude Code] 내가 만든 검사 장치가 117개를 통째로 못 보고 있었다 — AI 결과물을 믿는 법

📝 한줄 요약

AI가 만든 결과물을 채점하는 기준표를 만들고 다섯 번 돌렸습니다. 만점이 나온 뒤에도 결함이 계속 나왔고, 마지막엔 채점하는 장치 자체가 틀렸다는 걸 발견했습니다.

바쁘시면 이것만 읽어도 돼요:

  • AI에게 "잘 만들어줘"라고 하면 잘 만들어 옵니다. 문제는 잘 만들어졌는지 제가 알 수 없다는 것이었습니다.

  • 그래서 채점표를 만들게 했습니다. 3회 돌리니 만점이 나왔는데, 그 뒤로도 결함이 계속 나왔습니다. 채점표가 못 보는 축이 있었던 겁니다.

  • 채점을 사람 눈에서 검사 장치로 옮겼더니, 이번엔 검사 장치에서 결함이 7건 나왔습니다. 없는 잘못을 있다고 하고, 있는 잘못을 못 봤습니다.

  • 마지막에 제일 큰 게 나왔습니다. 검사 장치가 설치된 목록을 한 칸만 들여다보고 있어서, 117개를 통째로 못 보고 있었습니다.

  • 그 결과 AI가 "이건 존재하지 않습니다"라고 다섯 번 자신 있게 적었던 것이 전부 존재했습니다.

  • 배운 것: "없습니다"와 "못 찾았습니다"는 다른 말입니다. AI에게 이 둘을 구분해서 말하게 해야 합니다.

🎯 이런 분들께 도움돼요

  • AI가 만들어 준 결과물을 어디까지 믿어야 할지 모르겠는 분

  • "확인했습니다", "없습니다" 같은 답을 받았을 때 한 번 더 물어봐야 하나 망설이는 분

  • AI에게 검토나 검수를 시켜 본 적 있는 분

  • 회의록·보고서처럼 틀리면 곤란한 문서를 AI로 만드는 분

😫 문제 상황 (Before)

AI에게 일을 시키면 결과가 나옵니다. 그럴듯합니다. 그런데 그게 잘 된 건지 제가 알 방법이 없었습니다.

특히 이런 게 반복됐습니다.

"개선했습니다"라고 하는데 뭐가 좋아졌는지 모르겠다. 파일은 길어졌고 문장은 그럴듯해졌는데, 실제로 쓸 때 나아졌는지는 써 봐야 압니다.

"확인했습니다"를 믿어도 되나. AI가 자신 있게 답하면 그냥 넘어가게 됩니다. 그런데 나중에 보면 안 맞는 경우가 있었습니다.

같은 실수가 다른 파일에서 또 나온다. 한 곳을 지적하면 그 곳은 고쳐지는데, 같은 종류의 문제가 다른 파일에 그대로 남아 있었습니다.

그래서 채점표를 만들어 보기로 했습니다. 사람이 매번 눈으로 보는 대신, 기준을 정해 두고 거기 맞춰 점수를 내게요.

🛠️ 사용한 도구

  • 도구: Claude Code

  • 모델: Claude Opus 5

  • 대상: 제가 AI와 만든 업무 자동화 흐름 6~7개 (회의록, 미팅 자료, 문서 검수, 측정 보고서 등)


🔧 작업 과정

한 문장에 다섯 단계를 넣었다

처음 요청은 이랬습니다. 화살표로 이어 붙인 한 문장입니다.

회의록 및 미팅 자료 제작 스킬 개선할 만한 부분이 있다면 개선해봐
개선 후 스킬을 검증할 수 있는 루브릭을 만들어봐 -> 루브릭이 너무 허술하잖아 놓친부분은 없니? -> 보완해서 루브릭으로 평가해 -> 개선해(3회반복)

개선하고, 채점표를 만들고, 그 채점표를 스스로 비판하고, 다시 채점하고, 또 개선하는 걸 3회. 한 번에 다 던졌습니다.

결과가 흥미로웠습니다.

  • 1회차: 54점 / 60점

  • 2회차: 60점 / 60점

  • 3회차: 60점 / 60점

만점이 나왔습니다. 그런데 그 뒤로도 결함이 계속 나왔습니다.

만점은 "결함이 없다"가 아니라 "이 채점표가 보는 범위 안에서는 문제가 없다"였던 겁니다. 채점표 자체가 못 보는 축이 있었던 거죠.


채점을 사람 눈에서 장치로 옮겼다

만점이 의미 없다는 걸 알고 나서, 채점 방식을 바꿨습니다. "채점자가 읽어 보고 판단한다"에서 "검사 장치를 돌려서 그 결과를 인용한다"로요.

표가 몇 열인지, 셀이 몇 글자인지, 같은 숫자가 여러 군데 적혔는지 — 이런 건 사람이 세는 것보다 기계가 세는 게 낫습니다.

그리고 여기서 제가 계속 놓치던 것들이 드러났습니다.

제가 직접 쓴 문서에서 표가 규정보다 넓은 게 세 라운드 연속으로 나왔습니다. 검사 장치가 매번 잡았고, 저는 매번 눈으로 못 봤습니다. AI가 이걸 이렇게 정리하더군요.

부주의가 아니라 표를 쓸 때 열 수를 세지 않는 습관이고, 습관은 검사로만 막힙니다.


이번엔 검사 장치가 틀렸다

검사 장치를 돌리기 시작하니 새로운 종류의 문제가 나왔습니다. 검사 장치 자체의 오류입니다.

일곱 건이 나왔는데, 종류가 두 가지였습니다.

없는 잘못을 있다고 한 것.

  • 문서 맨 위의 설정 부분을 본문으로 착각해서, 존재하지 않는 위반 5건을 보고

  • 규칙상 일부러 세 번 적게 되어 있는 항목을 "중복"이라고 판정

  • 표 안에서 특수 기호로 쓴 세로줄을 열 구분자로 세어서, 4열 표를 6열로 판정

있는 잘못을 못 본 것. 이쪽이 더 무섭습니다.

  • 목록을 적는 방식이 두 가지인데 한 가지만 읽을 줄 알아서, 연결 관계 25개 중 5개를 통째로 누락했습니다

AI가 이걸 이렇게 적었습니다.

결함을 못 본 것이 아니라 세지 않은 것이었습니다.

이 문장이 오래 남았습니다. 검사가 "이상 없음"이라고 말할 때, 그게 정말 이상이 없어서인지 애초에 그 부분을 보지 않아서인지는 다른 문제니까요.

그래서 이때부터 라운드마다 "검사 장치의 결함"과 "검사 대상의 결함"을 따로 적기 시작했습니다.


마지막 반전 — 117개를 못 보고 있었다

며칠 뒤, 만든 작업 흐름을 사내 AI 봇에 등록하려고 봇 쪽 폴더를 열어 봤습니다.

그리고 이상한 걸 봤습니다.

며칠 전에 AI가 "이 이름은 어디에도 존재하지 않습니다"라고 다섯 번 적어 둔 것들이 있었는데, 그 중 하나가 봇 폴더 안에 버젓이 있었습니다.

확인해 보니 다섯 개 전부 있었습니다.

원인은 이랬습니다. 검사 장치가 설치된 목록을 훑을 때 폴더를 한 단계만 들여다보고 있었습니다. 그런데 실제 구조는 두 단계였습니다. 분류 폴더가 하나 더 있었던 거죠.

한 칸 차이로 설치된 117개가 통째로 안 보였습니다.

이게 왜 심각했냐면, 며칠 전 보고서에 이렇게 적혀 있었기 때문입니다.

연결이 끊긴 항목 11건. 그중 2건은 치명적 — 이 작업 흐름들은 자기 규정상 실행이 불가능한 상태입니다.

그럴듯한 발견이었습니다. 저는 믿었고, 그 근거로 파일 여러 개를 고쳤습니다. 그런데 그 발견 자체가 못 본 것을 없다고 적은 것이었습니다.

AI가 이 사실을 확인하고 스스로 이렇게 적었습니다.

못 본 것을 없다고 적은 것입니다.


어떻게 되돌렸나

여기서 AI가 한 처리가 좋았습니다. 그냥 "죄송합니다" 하고 원래대로 되돌리지 않았습니다.

첫째, 장치부터 고쳤습니다. 폴더를 끝까지 훑도록 바꿨습니다. 117개가 보이기 시작했습니다.

둘째, 잘못된 기록을 사실대로 고쳤습니다. "존재하지 않음"이라고 적어 둔 다섯 건을 전부 "존재함 + 실제 위치 + 확인 날짜"로 바꿨습니다. 본문에 "이건 어디에도 없다"고 단언한 문장도 10곳 찾아 고쳤습니다.

셋째 — 이게 제일 인상적이었는데 — 결론은 그대로 두되 이유를 바꿔 적었습니다.

원래 "대상이 없어서 연결을 끊었다"고 되어 있던 걸, 다시 연결하지는 않았습니다. 대신 이렇게 바꿨습니다.

되돌리지 않은 이유는 따로 있습니다 — 앞서 실행해야 하는 게 아니라 입력 조건이기 때문입니다.

결론은 같은데 근거가 달라진 겁니다. AI가 이렇게 설명하더군요.

결론은 같아도 근거가 틀렸으면 근거를 고쳐야 합니다.

이 태도가 제일 마음에 들었습니다. 결과만 맞으면 됐다고 넘기지 않은 것이요.


✅ 결과 (After)

Before vs After

항목

Before

After

결과물 판정

AI가 "개선했습니다" 하면 그런가 보다

검사 통과해야 저장. 통과 못 하면 안 넘어감

놓치던 것

표 규정 위반이 세 라운드 연속 통과

매번 잡힘

"없습니다"라는 답

그대로 믿음

어디를 어떻게 찾았는지 함께 적게 함

검사 장치

없음

있음. 그리고 검사 장치도 채점 대상

오류 정정

결과만 고침

근거까지 고침

숫자로

  • 채점 라운드: 5회

  • 검사 대상에서 나온 결함: 라운드마다 계속

  • 검사 장치 자체에서 나온 결함: 8건 (7건 + 마지막 117개 건)

  • 사실과 다르게 기록됐던 항목: 5건 (전부 정정)

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

  1. "없습니다"를 들으면 "어디를 찾았는지" 물어보세요. 이번 일의 핵심입니다. AI가 "존재하지 않습니다"라고 할 때, 그게 정말 없어서인지 찾은 범위 안에 없어서인지는 다릅니다. 어디를 어떻게 찾았는지 같이 적게 하면 이 차이가 드러납니다.

  2. 채점표를 만들었으면 채점표도 채점하세요. 만점이 나오면 기분은 좋은데, 만점은 "그 기준으로는 문제없음"이지 "문제없음"이 아닙니다. "이 기준이 못 보는 게 뭐야?"를 따로 물어보는 게 좋았습니다.

  3. 눈으로 보는 것과 세는 것을 구분하세요. 저는 표가 규정보다 넓은 걸 세 번 연속 놓쳤습니다. 스크롤로 훑으면 안 보입니다. 세게 하면 나옵니다. 사람 눈은 "대충 괜찮아 보이는 것"을 통과시킵니다.

  4. 검사 결과와 검사 도구의 문제를 따로 적게 하세요. "3건 발견"이라고만 하면 그게 진짜 3건인지, 검사가 잘못 센 3건인지 모릅니다. 라운드마다 둘을 나눠 적게 하니 훨씬 명확해졌습니다.

  5. 틀린 걸 알았을 때 근거까지 고치게 하세요. "결론은 맞으니까 됐다"로 넘어가면, 그 근거가 다음에 또 쓰입니다. 결론이 같아도 근거가 틀렸으면 근거를 고쳐야 합니다.

이렇게 하면 안 돼요

  1. "확인했습니다"를 그대로 믿지 마세요. AI는 확신 있게 말합니다. 근데 확신은 정확도가 아닙니다. 특히 "없다", "전부", "모두" 같은 단정에는 근거를 물어보는 게 좋습니다.

  2. 한 곳을 지적하고 다 고쳐졌다고 생각하지 마세요. 지적한 곳만 고쳐지는 경우가 많습니다. "같은 문제가 다른 파일에도 있어?"를 따로 물어야 합니다.

  3. 점수가 올랐다고 좋아지지 않았을 수 있습니다. 한 라운드에서 점수가 5점 올랐는데, 확인해 보니 기준 자체를 조정해서 오른 거였습니다. AI가 그걸 이렇게 적었더군요 — "이번 상승은 개선이 아니라 재조정입니다." 물어보면 답해 줍니다.

  4. 검사를 건너뛰고 "통과"로 적지 마세요. 도구가 없어서 검사를 못 한 경우가 있었는데, 그걸 통과로 적지 않고 "확인 못 함"으로 남기게 했습니다. 이게 나중에 훨씬 도움이 됩니다.

🌍 다른 업무에 적용한다면?

이건 개발 이야기가 아니라 "AI가 한 일을 어떻게 검수할 것인가" 이야기입니다.

  • AI로 만든 보고서를 검수할 때 — "빠진 항목 없어?"보다 "어떤 목록과 대조했어?"가 낫습니다

  • 자료 조사를 시켰을 때 — "찾은 게 없습니다"를 받으면 어디를 찾았는지 물어보세요. 검색 범위가 좁았을 수 있습니다

  • 번역이나 요약을 맡겼을 때 — 원문에서 빠진 부분을 세게 하세요. 읽어 보고 판단하는 것과 세는 것은 다릅니다

  • 여러 문서를 한꺼번에 고칠 때 — 한 곳 고치고 나머지에 같은 문제가 있는지 반드시 따로 물어보세요

🚀 앞으로의 계획

  1. 검사 항목 늘리기. 이번에 눈으로 잡은 결함(표 잘림, 페이지 빈 공간)을 검사 항목으로 넣었습니다. 앞으로도 눈으로 잡히는 게 나오면 그때마다 검사에 넣을 생각입니다. 사람이 두 번 놓친 건 검사로 옮긴다는 원칙으로요.

  2. "찾은 범위"를 기본으로 적게 하기. 이번 일 이후로 "없습니다"라고 할 때 어디를 어떻게 찾았는지 함께 적는 규칙을 넣었습니다. 다른 작업에도 적용해 보려고 합니다.

  3. 실제로 돌려 보기. 지금까지 확인한 건 대부분 "문서가 규칙에 맞는가"입니다. 실제로 써 보고 결과가 좋은지는 또 다른 문제입니다. 이건 아직 확인 못 했고, 확인 못 했다고 기록해 뒀습니다.

📋 재사용 가능한 프롬프트

프롬프트 1: "없다"를 검증하기

방금 "[대상]이 없다"고 했는데, 확인 방법을 알려줘.

  • 어느 위치를 찾았는지 (전부 나열)

  • 어떻게 찾았는지 (명령어나 방법)

  • 그 방법이 놓칠 수 있는 경우는 없는지

"찾지 못했다"와 "존재하지 않는다"를 구분해서 답해줘.

프롬프트 2: 채점표를 채점하기

방금 만든 기준표로 채점해서 만점이 나왔는데, 이 기준표가 못 보는 게 뭐야?

  • 이 기준으로는 절대 안 걸리는 종류의 문제를 3가지 이상 들어줘

  • 그중 실제로 일어날 가능성이 있는 걸 골라줘

  • 그걸 잡으려면 기준을 어떻게 고쳐야 하는지 알려줘

기준을 고친 뒤에는, 고치기 전 결과와 후 결과가 어떻게 달라졌는지 같이 보여줘.

프롬프트 3: 검사 도구와 검사 대상 분리하기

검사 결과를 보고할 때 두 가지를 나눠서 적어줘.

  1. 검사 대상에서 나온 문제 — 실제 결함

  2. 검사 도구에서 나온 문제 — 잘못 센 것, 못 센 것

특히 2번을 빼먹지 마. "이상 없음"이 진짜 이상이 없어서인지 그 부분을 안 봐서인지 구분해야 하니까.

프롬프트 4: 같은 문제가 다른 곳에도 있는지

방금 [파일 A]에서 고친 문제 있잖아. 같은 종류의 문제가 다른 파일에도 있는지 전부 확인해줘.

  • 몇 개 파일을 확인했는지 숫자로 알려줘

  • 확인 안 한 파일이 있으면 왜 안 했는지 알려줘

  • 지적한 곳만 고치지 말고 같은 규칙을 전부 적용해줘

프롬프트 5: 점수가 오른 이유 확인하기

이번 라운드 점수가 올랐는데, 결과물이 좋아져서 오른 거야, 기준을 바꿔서 오른 거야?

기준을 조정했다면 어디를 어떻게 조정했는지, 그리고 예전 기준으로 다시 채점하면 몇 점인지 알려줘.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

황재준님, "없습니다"와 "못 찾았습니다"는 다른 말이라는 대목에서 머리를 한 대 맞은 것 같았습니다. AI 만점에 안주하지 않고 검사 장치의 한계까지 끈질기게 추적해서 117개의 누락을 잡아내신 과정이 정말 경이롭네요. 덕분에 저도 AI가 준 결과물을 검증하는 시스템 자체를 한 번 더 의심해봐야겠다는 귀한 배움을 얻었습니다.

Giacomo 프로필 이미지
Giacomo2026.08.06

황재준님, 같은 작업 흐름을 다룬 두 글을 함께 읽으니 이번 글의 전환점이 더 선명했어요. 회의록 글에서는 실제 문서를 만드는 과정을 보여주셨고, 여기서는 그 결과를 믿게 해 주는 채점표와 검사 장치까지 다시 의심하는 쪽으로 시야가 옮겨갑니다. 54점에서 60점, 다시 60점이 되었는데도 결함이 이어졌다는 장면은 점수가 품질 그 자체가 아니라 기준표가 볼 수 있는 범위의 결과라는 사실을 아주 선명하게 보여줍니다. 사람이 읽고 판단하던 항목 중 열 수·글자 수·숫자 중복처럼 셀 수 있는 것을 검사 장치로 옮긴 전환도 구체적이었고요.

더 중요한 변화는 검사 대상의 결함과 검사 장치의 결함을 따로 기록하기 시작한 부분이라고 느꼈어요. 설정 영역을 본문으로 오인하고, 의도된 반복을 중복으로 판정하고, 세로줄을 열로 세는 오탐뿐 아니라 두 단계 폴더를 한 단계만 훑어 117개를 통째로 못 본 누락까지 찾아냈죠. ‘이상 없음’이 정말 없다는 뜻인지, 애초에 세지 않았다는 뜻인지 구분한 덕분에 검수의 초점이 답의 확신에서 탐색 범위와 방법으로 옮겨갔습니다.

117개를 다시 찾은 뒤의 복구 과정도 특히 좋았습니다. 장치를 먼저 고치고, ‘존재하지 않음’으로 적힌 다섯 건과 본문의 단정 10곳을 사실에 맞게 정정한 다음, 결론은 유지하되 근거를 바꿨다고 설명하셨습니다. 결과가 우연히 맞았다는 이유로 잘못된 근거를 남겨두지 않은 것이죠. 이 선택은 같은 근거가 다른 문서와 다음 판단에 재사용될 수 있다는 점까지 본 복구라서, 단순한 오류 수정과 결이 달랐습니다.

또 현재 확인한 것은 문서가 규칙에 맞는지에 가깝고, 실제 업무에서 결과가 좋은지는 아직 확인 못 했다고 별도로 남겨둔 경계가 정확해요. 지금의 통과는 검사 가능한 형식·탐색 범위·정정 이력에 대한 증거이고, 업무 효과는 첫 실제 사용에서 확인될 다른 층이라는 구분이 글 전체의 메시지와도 잘 맞습니다.

만점이 나온 뒤에도 멈추지 않고, 검사 장치가 무엇을 못 세었는지까지 파고들어 사실과 근거를 함께 고친 작업이 단단했어요. ‘없다’는 단정을 ‘어디까지 찾아봤는가’라는 검증 가능한 질문으로 바꾼 기록은 AI 검수 결과를 해석하는 단단한 기준점이 됐습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기