AI가 고치자고 한 7개 중 4개를 거부했다 — 맞는 말이어도 근거가 없으면 안 고친다
2026.08.12
📝 한줄 요약
AI에게 "검토해줘"라고 하면 거의 항상 뭔가 고쳐서 돌아온다. GPTERS AKM 3주차에서 그 반대를 배웠다. 고칠 근거를 못 대면 손대지 않는 절차를 두 번 돌렸고, 고치자는 제안 7개 중 4개를 거부했다.
바쁘시면 이것만 읽어도 돼요:
AI 검토의 기본값은 "뭐라도 고치기"다. 그 반대(근거 없으면 안 고침)를 절차로 만드는 게 이번 주차의 전부였다
제일 위험한 제안은 틀린 게 아니라 맞는 말에서 한 발 나간 추론이었다. 아무도 안 막는다
"모른다"와 "없다고 확인했다"는 다르다. 값이 아니라 분류가 틀린 경우라 숫자 대조로는 안 걸린다
검사가 27개 전부 통과라고 했지만 세 번 다 의심했고, 두 번은 검사가 틀렸다
통과 숫자는 그 자체로 아무것도 증명하지 않는다. 통과만 찍는 고장 난 검사기도 같은 숫자를 낸다
남은 건 파일이 아니라 규칙 한 문장이었다 — "원문을 직접 읽고 위치까지 짚은 근거가 없으면 고치지 않는다"
🎯 이런 분들께 도움돼요
AI에게 글이나 문서 검토를 맡기는데, 돌아온 결과가 좋아진 건지 그냥 달라진 건지 판단이 안 서는 분
AI가 "검사 통과", "확인 완료"라고 하면 일단 넘어가는 분
AI가 그럴듯한 제안을 했을 때 거절할 기준이 없어서 그냥 받아들이게 되는 분
😫 문제 상황 (Before)
AI에게 "이 글 좀 봐줘"라고 해본 적 있을 것이다. 그러면 거의 항상 뭔가 고쳐서 돌아온다. 고칠 게 없어도 문장을 다듬고, 표현을 바꾸고, 문단 순서를 옮긴다.
당연하다. 검토해달라고 했는데 "고칠 데 없습니다"라고 답하면 일을 안 한 것처럼 보인다.
문제는 그 과정에서 맞던 정보가 조용히 사라진다는 것이다.
원래 | "8월 22일 오후 2시, 사전 신청 필수입니다." |
다듬은 뒤 | "8월 22일 오후 2시에 진행됩니다." |
문장은 깔끔해졌는데 "사전 신청 필수"가 없어졌다. 모르고 온 사람은 문 앞에서 돌아간다.
지난 편에서 AKM 2주차를 9단계로 다시 밟으면서 이런 걸 몇 번 겪었다. 검사가 "누락"이라고 했는데 파일은 멀쩡했고, AI가 "이게 증거다"라고 한 게 증거가 못 됐다. 그때는 걸릴 때마다 하나씩 확인하는 식이었다.
3주차는 그걸 절차로 만드는 주차였다. 기본값을 뒤집는 것 — 원래는 안 고치는 게 기본이고, 고치려면 근거를 내야 한다.
병원과 같다. "왠지 몸이 안 좋아요"만으로 수술하지 않는다. 지금 상태를 기록하고, 검사하고, 수치가 기준을 벗어났을 때만 처치하고, 처치한 뒤 다른 데가 나빠지지 않았는지 다시 본다.
🛠️ 사용한 도구
도구명: Claude Code
모델: Claude Opus 5
특이사항: 과제 페이지를 브라우저로 읽고, 산출물을 실제 파일로 만들면서 진행했다. 파일 지문(SHA-256) 계산과 검사 실행은 전부 실제 명령으로 돌렸다
🔧 작업 과정
또 혼자 끝내버렸다 — 같은 말을 두 번 해야 했다
과제를 확인하자마자 Claude Code가 네 단계를 연달아 돌려버렸다. 준비 시트를 쓰고, 과제 1을 완주하고, 과제 2까지 끝내고, 학습지를 만들어 완료 보고를 올렸다.
지난 편에서 똑같은 일이 있었다. 그때 이렇게 말했었다. "아니 실습이니까 내가 학습할 수 있도록 한 단계씩 자세히 설명하면서 진행해줘."
그래서 이번엔 이렇게 말했다.
아니 지난번에도 말했지만 실습이니까 나랑 같이 단계적으로 진행해야지 기억해
원인을 찾아보라고 했더니 답이 나왔다. 지난번 지적을 메모로 남기긴 했는데, "무슨 일이 있었나"로만 적어뒀다. "앞으로 어떻게 하라"로는 안 적혀 있었다. 그래서 기록은 있는데 행동은 안 바뀐 것이다.
웃긴 건 이게 이 강좌가 계속 가르치는 내용이라는 점이다. 실패했으면 그 기록을 어느 서랍에 넣어야 다음에 안 틀리는지를 정하는 절차가 이미 있었다. 그걸 배우면서 그걸 안 지키고 있었던 셈이다.
이번엔 "앞으로 이렇게 하라" 형식의 규칙으로 다시 저장했다. 그리고 이미 만든 결과물은 지우지 않고 옆 폴더로 옮겼다. 답이 보이는 상태로 실습하면 각 단계에서 직접 판단해볼 수가 없다는 이유였는데, 이건 지난 편에서 이미 확립된 방식이라 이번엔 알아서 그렇게 했다.
설명이 계속 어려웠다 — 그러다 AI가 말을 두 뜻으로 쓰고 있는 걸 발견했다
10단계로 다시 시작했는데 두 단계쯤 가다 막혔다.
아직 다시 3주차 실습에 대해서 자세히 쉽게 설명해줘
표가 잔뜩 붙은 설명이 왔다. 여전히 어려웠다.
더 쉽게 설명해줘
이번엔 병원 비유가 나오면서 훨씬 나아졌다. 그런데 읽다 보니 뭔가 계속 걸렸다. "원본"이라는 말이 앞뒤로 다른 걸 가리키는 것 같았다.
위에서 말하는 원본과 초안이 뭘 말하는거야?
확인해보니 진짜였다. AI가 "원본"을 두 뜻으로 섞어 쓰고 있었다. 하나는 운영팀이 만든 공문이었고, 다른 하나는 내가 쓴 안내문 초안이었다. 완전히 반대되는 두 물건에 같은 이름을 붙여놓고 설명하고 있었으니 이해가 될 리가 없었다.
정리하고 나니 간단했다.
자료 | 초안 | |
|---|---|---|
누가 만들었나 | 남 (운영팀·장소 담당) | 나 |
고치나 | 절대 안 고침 | 근거 있으면 고침 |
금고에 넣나 | 필요 없음 | 넣음 |
역할 | 사실의 출처 | 검사받는 대상 |
자료는 물어보는 대상이고, 초안은 검사받는 대상이다. 이 한 줄이 정리되고 나서야 나머지가 풀렸다.
이후로는 "원본"이라는 말을 쓰지 않기로 했다. 어려운 게 내 문제가 아니라 AI가 같은 개념을 다른 말로 바꿔 부르고 있어서일 수 있다.
맞는 말인데 거부했다 — 이게 제일 어려웠다
이 주차의 핵심 단계는 "고칠지 말지 결정하는 문"이었다. 문지기가 딱 하나만 묻는다.
"자료 어디에 그렇게 쓰여 있는데?"
Claude Code가 고치자는 제안 7개를 올렸다. 세 개는 쉬웠다. 정원이 18명에서 12명으로 줄었다는 게 공문에 그대로 있었고, 출입 조건도 마찬가지였다. 위치까지 짚을 수 있으니 통과.
문제는 나머지 네 개였다. 그중 하나가 특히 그랬다.
"정원이 18명에서 12명으로 줄었잖아요. 자리가 적어졌으니 '조기 마감될 수 있습니다'를 넣어주는 게 맞죠."
여기서 한참 망설였다. 정원이 줄어든 건 사실이다. 자리가 적으면 빨리 찬다는 것도 맞는 말이다. 참가자한테 도움도 된다.
그런데 자료 어디에도 "조기 마감된다"는 말은 없었다. 사실에서 추론한 것이었다.
결국 거부했다. 문지기가 묻는 건 "이 말이 맞느냐"가 아니라 "자료가 이 말을 하느냐"이기 때문이다. 맞는 말이어도 자료가 안 했으면 내가 만든 말이다.
이게 실무에서 제일 안 걸린다. 틀린 게 아니라 틀렸다고 말하기도 애매해서 아무도 안 막는다. 그러다 "조기 마감된다"를 믿고 급하게 신청한 사람이 생기고, 실제로 마감이 안 되면 안내문이 거짓말을 한 게 된다.
나머지 세 개도 같은 이유로 거부했다. "주차 안내를 넣으면 친절할 텐데"는 자료 셋 어디에도 주차 얘기가 없었다. "문장이 딱딱하니 다듬자"는 자료와 어긋난 데가 없었다. 친절한 건 맞지만 친절함은 증거가 아니다.
거부한 걸 기록으로 남기라고 했다. 고친 것만 적으면 문지기가 실제로 뭔가를 막았는지 알 수가 없다. 막은 기록이 없는 문지기는 이름만 있는 문지기다.
"모른다"와 "없다고 확인했다"는 다르다
가장 놓칠 뻔한 게 따로 있었다.
내 초안에는 이렇게 적혀 있었다.
## 확정하지 않은 항목
- 주차 가능 여부
- 엘리베이터 운영 여부
- 별도 휠체어 출입 동선
그런데 새 공문에는 이렇게 나와 있었다. "엘리베이터와 별도 휠체어 출입 동선은 제공되지 않는다."
처음엔 이게 왜 문제인지 몰랐다. 둘 다 "엘리베이터를 쓸 수 있다"고는 안 했으니 거짓말은 아니지 않나 싶었다.
읽는 사람 입장에서 보니 정반대였다.
「확인되지 않음」 → 있을 수도 있겠네
「제공되지 않는다」 → 없다
휠체어를 쓰는 사람이 「확인되지 않음」을 보면 "전화해보면 되겠지" 하고 신청한다. 그리고 현장에 도착해서야 계단뿐이라는 걸 안다. 되돌릴 방법이 없다.
정원 18 → 12는 값이 틀린 경우라 눈에 띈다. 이건 값이 아니라 분류가 틀린 경우였다. "모른다" 칸에 있던 게 "없다고 확인됨"으로 옮겨가야 하는데 그대로 남아 있었다. 숫자를 대조하는 검사로는 절대 안 걸린다.
여기서 한 가지가 운이 좋았다. 초안을 쓸 때 「확정하지 않은 항목」 절을 넣을지 말지 물어봤었고, 넣기로 했었다. 안 넣었으면 비교할 자리가 없어서 이 오류는 발견되지도 않았을 것이다.
검사가 27개 전부 통과라고 했다 — 세 번 다 의심했다
이번 주차에서 제일 많이 반복한 동작이 이거였다. 도구를 쓰기 전에 그 도구가 작동하는지 먼저 확인하기.
지문 계산부터 그랬다. 파일 내용을 64자리로 요약하는 계산인데, 이걸로 "안 고쳤다"를 증명할 수 있다고 했다. 그래서 시험해봤다. 줄바꿈 한 글자만 더한 복사본을 만들어 지문을 떠봤다.
원본 : bea78361354d482463fde091...
한 글자 추가 : f558df9fb95443f88e7fedab...
완전히 달랐다. 한 글자 차이인데 지문이 통째로 바뀌었다. 이걸 확인하고 나서야 지문을 믿기로 했다.
검사기도 마찬가지였다. 27개 검사가 전부 통과로 나왔는데, 통과만 찍는 고장 난 검사기도 똑같이 27/27을 낸다. 그래서 고치기 전 구버전 파일에 같은 검사를 걸어봤다.
FAIL 정원 12명
FAIL 구 정원 18명 잔존 없음
FAIL 계단 전용 출입 명시
FAIL 엘리베이터가 미확정 목록에 남지 않음
PASS 보존 입실 시작: 13:40
PASS 보존 참가비: 무료
여기서 마지막 두 줄이 통과한 게 오히려 좋은 신호였다. 입실 시각과 참가비는 원래 안 고친 항목이라 구버전에도 그대로 있다. 검사기가 "구버전이면 무조건 실패"를 찍는 게 아니라 판별할 것만 판별한다는 뜻이다. 전부 뒤집혔다면 오히려 파일 이름만 보고 결론 내는 건 아닌지 의심해야 했다.
두 번은 검사가 틀렸다 — 그런데 두 번째가 더 무서웠다
과제 1 산출물을 다 쓰고 검사를 돌렸더니 빨간불이 하나 떴다. "최종본에 옛날 정원 18명이 남아 있다"였다.
파일을 열어보니 이거였다.
정원: 12명 ← 여기서 바꿨음 (원래 18명)
읽기 편하라고 옆에 달아둔 메모였다. 사람은 구별하지만 검사기는 못 한다. 그래서 메모를 표 밖으로 뺐다.
다시 검사했더니 2회로 늘어났다.
이번엔 방금 쓴 설명문이었다. "옆에 메모를 달았더니 검사가 잘못 잡더라"라고 적은 그 문장을 읽은 것이다.
여기가 갈림길이었다. 문서를 또 고칠 수도 있었다. 그런데 그러면 멀쩡한 기록을 훼손하고도 원인은 그대로 남는다. 문서가 아니라 검사 범위가 틀린 것이었다 — 문서 전체를 훑는 대신 결과물 블록 안쪽만 봤어야 했다.
검사기를 고쳤더니 통과했다.
지난 편에서 검사가 틀리는 방식 세 가지를 정리했었다. 문제없는데 문제라고 하거나, 문제인데 조용히 넘어가거나, 검사 자체가 죽거나. 이번엔 네 번째가 나왔다. 검사는 멀쩡히 돌았는데 엉뚱한 데를 쟀다.
숫자가 이상하면 데이터가 아니라 검사를 의심한다. 이번엔 이걸 지켜서 멀쩡한 기록을 안 건드렸다.
✅ 결과 (After)
Before vs After
항목 | Before | After |
|---|---|---|
AI 검토를 보는 눈 | "고쳐서 돌아왔으니 좋아졌겠지" | "몇 개 고쳤나"보다 "뭘 안 고쳤나"를 먼저 봄 |
고칠지 판단하는 기준 | 그럴듯하면 받아들임 | "자료 어디에 쓰여 있는데?" 하나로 판정 |
검사 결과 | 전부 통과면 넘어감 | 구버전에 걸어보고 나서야 믿음 |
"안 고쳤다"의 증명 | 말로만 | 지문 두 개로 기계 대조 |
남은 것 | 파일 | 다음 작업에 적용할 규칙 한 문장 |
결과물
검증 기록 두 벌 — 채팅으로 한 번, 파일로 한 번. 뒤엣것은 지문·검사가 붙어 기계로 확인 가능
규칙 후보 하나 — "모른다"와 "없다고 확인했다"를 구분해서 검사하는 규칙. 다만 정식 규칙으로 올리지 않고 후보로만 뒀다. 한 번 통했다고 규칙이 되는 건 아니라서
학습 최종 문장 — "내 작업은 남이 읽는 글이고, 원문을 직접 읽고 위치까지 짚은 근거가 없으면 고치지 않겠다."
가장 크게 남은 건 마지막 문장이다. 과제는 가상의 워크숍 안내문이라 그 자체로는 쓸모가 없다. 실제로 가져온 건 포트폴리오나 자기소개를 쓸 때 바로 적용되는 규칙 한 줄이다.
"고치지 않는다"를 고른 이유는 단순하다. 안 지킬 규칙은 없는 규칙이다. 보류 표시는 제출물에 남으면 곤란하고, 범위를 줄이는 건 매번 판단이 필요하다. 지킬 수 있는 쪽을 골랐다.
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
"고칠 근거가 자료 어디에 있는지 짚어줘"라고 요구하기. 이 한 문장이 문지기 역할을 한다. 못 짚으면 안 고치는 것이다
거부한 제안도 기록으로 남기라고 하기. 고친 것만 보면 검토가 실제로 뭔가를 걸러냈는지 알 수 없다
고치기 전 상태를 따로 보관하라고 하기. 비교할 대상이 없으면 "안 망가졌다"를 확인할 방법이 없다
검사가 전부 통과라고 하면, 답을 아는 사례로 한 번 때려보기. 구버전 파일에 같은 검사를 걸어 실패가 뜨는지 보면 된다
설명이 계속 어려우면 "그 단어가 뭘 가리키는 거야?"라고 물어보기. 내 이해력 문제가 아니라 같은 말을 두 뜻으로 쓰고 있을 수 있다
이렇게 하면 안 돼요
맞는 말이라고 받아들이기. 제일 위험한 제안은 틀린 게 아니라 참인 사실에서 한 발 나간 추론이다. 틀렸다고 말하기 애매해서 아무도 안 막는다
통과 개수만 보고 안심하기. 통과만 찍는 고장 난 검사기도 같은 숫자를 낸다
검사가 이상하면 문서부터 고치기. 두 번 다 문서가 아니라 검사가 문제였다
"확인되지 않음"과 "없음"을 같은 걸로 취급하기. 읽는 사람에겐 정반대로 읽힌다
🌍 다른 업무에 적용한다면?
계약서나 제안서 검토에 그대로 쓸 수 있다. AI에게 검토를 맡기면 문장을 다듬어서 돌려주는데, 그중 "원문 어디에 근거가 있는지 짚을 수 있는 수정"만 받아들이면 된다. 나머지는 취향이고, 취향으로 계약서를 고치면 안 된다.
"확인 안 됨"과 "없음"을 구분하는 건 어디서나 통한다. 재고 조사든 일정 확인이든, "아직 모름"으로 적어둔 걸 나중에 누군가 확정했을 때 그 칸이 안 바뀌면 읽는 사람은 계속 "될 수도 있겠네"로 읽는다.
그리고 검사 결과를 믿기 전에 검사를 시험해보는 습관. 자동화 도구를 새로 붙였을 때 "전부 정상"이 나오면 기분은 좋은데, 일부러 틀린 데이터를 하나 넣어보고 그게 걸리는지부터 봐야 한다.
🚀 앞으로의 계획
세 가지를 이어서 해볼 생각이다.
하나는 검증하는 AI를 따로 두는 것. 이번에 유일하게 남은 감점 사유가 이거였다 — 초안을 쓴 쪽과 검증한 쪽이 같은 세션이라 진짜 독립적인 검토가 아니었다. 둘을 다른 프로세스로 분리하면 판정이 "조건부 통과"에서 "통과"로 올라갈 수 있는지 확인해보려 한다.
다른 하나는 이번에 만든 규칙 후보를 깨보는 것. "모른다"와 "없다고 확인했다"를 구분하는 규칙을 만들었는데, 이게 통한 이유가 과제 자료에 「확인되지 않은 항목」 칸이 친절하게 붙어 있어서일 수 있다. 그 칸이 없는 문서에 걸어보면 규칙이 아무것도 지시하지 못할 것이다. 그러면 이건 검증 원리가 아니라 문서 형식에 기대고 있던 셈이다. 깨지는 걸 확인하는 것도 결과다.
마지막은 지식관리 시스템 쪽 보강. 이번 주차에서 배운 세 가지(고치기 전 상태 보관 / 수정 횟수 상한 / 안 망가졌는지 확인)가 내가 쓰는 시스템에는 없는 칸이었다. 다만 한 번 통했다고 바로 올리진 않을 생각이다. 다른 자료에서 한 번 더 통하고, 같은 유형을 두 번 잡아야 올리기로 기준을 정해뒀다.
📋 재사용 가능한 프롬프트
프롬프트 1: 고칠 근거를 요구하기
이 [문서]를 [자료]와 대조해서 검토해줘. 단, 고치자고 제안할 때는 자료의 어느 파일 어느 부분에 근거가 있는지 반드시 짚어줘. 못 짚는 제안은 고치지 말고 "근거 없음"으로 따로 적어줘.
[문서]와 [자료]는 본인 상황에 맞게 변경하세요
프롬프트 2: 거부 기록 남기기
방금 검토에서 고치지 않기로 한 제안들도 표로 정리해줘. 각각 왜 거부했는지 이유도 같이. 고친 것만 보면 검토가 실제로 뭘 걸러냈는지 알 수가 없어.
프롬프트 3: 안 망가졌는지 확인하기
고치기 전 [문서]를 따로 복사해두고, 수정한 뒤에 둘을 나란히 대조해줘. 확인할 건 두 가지야 — 고칠 걸 제대로 고쳤나, 그리고 원래 맞던 내용이 사라지지는 않았나. 두 번째를 항목별로 하나씩 세어줘.
프롬프트 4: 검사를 시험해보기
검사가 전부 통과로 나왔는데, 검사기가 제대로 작동하는지부터 확인하고 싶어. 고치기 전 옛날 파일에 같은 검사를 걸어봐줘. 거기서도 전부 통과가 나오면 검사가 아무것도 판별 못 하고 있는 거야.
프롬프트 5: 용어가 헷갈릴 때
방금 설명에서 "[용어]"가 앞뒤로 다른 걸 가리키는 것 같아. 각각 뭘 말하는 건지 구분해서 정리하고, 앞으로는 하나로 통일해서 써줘.
[용어]는 헷갈리는 단어로 변경하세요


정원 감소는 문서에 있었지만 “조기 마감”은 어디에도 없었습니다. AI는 자연스러운 문구를 제안했고, 사람은 근거가 없어 거부했군요. 맞는 말처럼 들리는 것과 자료로 확인되는 것은 달랐습니다. 거부 이유까지 남긴 기록이 다음 검토를 지켜주겠습니다.