AI가 8분 만에 끝낸 과제를, 3시간 걸려 다시 했다 — 그랬더니 AI가 틀린 것 3개를 찾았다

📝 한줄 요약

GPTERS AKM 2주차 과제를 Claude Code에게 맡겼더니 8분 만에 끝났다. 그런데 결과물만 남고 나는 아무것도 배운 게 없어서, 9단계로 쪼개 3시간 15분에 걸쳐 다시 했다. 그 과정에서 AI가 틀린 걸 세 번 잡아냈다.

바쁘시면 이것만 읽어도 돼요:

• AI가 과제를 8분 만에 완주했지만 "내가 뭘 배웠지?"가 남아서, 한 단계씩 다시 진행하도록 요청했다

• 설명이 계속 개발자 눈높이라 "초등학생도 이해할 정도로"를 세 번이나 요청해야 했다

• "그 답변들 어느 파일에 저장돼 있어?"라고 물었더니 어디에도 없었다 — 대화창에만 있었다

• 검사 프로그램이 "누락"이라고 떴는데, 파일을 직접 열어보니 멀쩡했고 고장 난 쪽은 검사기였다

• AI가 "이게 증거다"라고 내세운 주장을 검증했더니 증거가 못 됐고, 결국 "증명 안 됨"으로 결론 냈다

• 대화창에만 있던 설명이 학습지 1,050줄 파일로 남아서, 3주차를 여기서 이어갈 수 있게 됐다

🎯 이런 분들께 도움돼요

• AI가 다 해줘서 결과물은 나왔는데, 정작 본인은 어떻게 된 건지 모르겠는 분

• AI가 "완료했습니다", "검사 통과했습니다"라고 하면 일단 믿는 분

• 실습이나 강의를 따라는 하는데 왜 하는지, 앞 차수와 어떻게 이어지는지 안 보이는 분

😫 문제 상황 (Before)

지난 편에서 AKM 1주차 워크숍 13단계를 완주했다. 파일 3개를 만들고 검증까지 통과시켰으니 겉으로는 잘 끝난 셈이었다.

그런데 2주차를 시작하려니 두 가지가 걸렸다.

하나는 1주차와 2주차가 어떻게 이어지는지 안 보인다는 것. 1주차에서 노트 3개를 만들긴 했는데 그게 2주차와 무슨 상관인지, 애초에 AKM이라는 게 뭘 하는 물건인지가 손에 안 잡혔다.

다른 하나는 더 컸다. 2주차 과제를 Claude Code에게 맡겼더니 8분 22초 만에 끝났다. 소스 파일을 만들고, 결과물 두 개를 뽑고, 검증 59개를 통과시키고, 과제가 정한 판정 기준 6개를 전부 충족했다는 보고까지 왔다.

과제 제출용으로는 완벽했다. 그런데 화면을 보면서 든 생각은 이거였다. "그래서 내가 뭘 한 거지?"

다음에 이걸 혼자 해야 한다면 못 할 것 같았다. 그래서 멈춰 세웠다.

🛠️ 사용한 도구

• 도구명: Claude Code

• 모델: Claude Opus 5

• 특이사항: 과제 페이지를 브라우저로 직접 읽고, 실습 산출물을 실제 파일로 만들면서 진행했다

🔧 작업 과정

8분 만에 끝났다, 그래서 다시 시켰다

결과 보고를 받고 바로 이렇게 말했다.

아니 실습이니까 내가 학습할 수 있도록 한 단계씩 자세히 설명하면서 진행해줘

Claude Code는 "1차 실행이 실습이 아니라 대행이었다"고 인정하고 진행 방식을 9단계로 다시 짰다. 각 단계마다 왜 이걸 하는지 → 무엇을 쓰는지 → 실행 → 확인을 거치고, 단계가 끝나면 멈춰서 내 신호를 기다리는 방식이었다.

여기서 한 가지가 마음에 들었다. 이미 만들어둔 결과물 4개를 지우자고 하지 않고 옆 폴더로 옮겼다. 답이 보이는 상태로 실습하면 각 단계에서 직접 판단해볼 수가 없다는 이유였다. 나중에 비교용으로 쓸 수 있게 남겨둔 것이다.

"초등학생도 이해할 정도로" — 세 번을 요청했다

다시 시작했는데도 설명이 어려웠다. Knowledge, scope, HOLD, authority 같은 말이 계속 나오는데 하나도 안 걸렸다.

아직 이해가 잘 안되는데 2주차 실습과제가 AKM과 1주차에서 어떻게 이어지는지 자세히 쉽게 설명해줘 초등학생도 이해할 수 있을 정도로

그제야 비유가 나왔다. 선생님이 소풍 안내문을 만드는 이야기였다.

공문 두 장을 읽고 안내문을 쓰는데, 장소 공문에 "주차장 되는지 아직 확인 안 됨"이라고 적혀 있다. 그래서 선생님은 "주차 가능"이라고 쓰지 않고 "주차는 확인 중입니다"라고 적는다. 2주 뒤 새 공문이 와서 안내문을 고쳐야 할 때, 처음에 왜 그렇게 썼는지를 따로 적어두지 않았다면 주차 판단을 잊어버리고 "주차장 있겠지" 하고 써버릴 수 있다.

그 따로 적어둔 메모가 이 과제에서 말하는 지식이었다. 여기서 처음으로 감이 왔다.

그런데 단계별 설명은 여전히 어려웠다. 두 번 더 요청해야 했다.

각 단계별 설명도 초등학생이 이해할 정도로 쉽게

1단계부터 다시 설명

이때부터 설명이 확 달라졌다. 다섯 개 항목을 채우는 단계는 "심부름을 세 번 시킬 건데, 매번 따로 설명하면 어딘가에서 말이 달라지니까 종이 한 장에 적어두고 세 번 다 그 종이를 붙여 보내는 것"으로 바뀌었다. 원문을 직접 읽어야 하는 이유도 마찬가지였다. 친구가 요약해준 가정통신문만 믿으면, 친구가 빼먹은 '비 오면 취소인데 아직 안 정해졌다'를 모른 채 준비하게 된다는 이야기로 바뀌었다.

요약은 확실한 것만 남기고 "아직 모르는 것"을 자연스럽게 버린다. 그런데 이 과제에서 제일 중요한 재료가 바로 그 모르는 것이었다.

1주차 노트를 다시 열어봤더니, 이미 답이 있었다

연결이 안 보인다고 했더니 Claude Code가 1주차에 만들어둔 노트 3개를 실제로 다시 열었다.

그랬더니 1주차 노트의 항목이 2주차에서 쓰는 것과 거의 그대로 겹쳤다. "이번 노트가 답할 질문", "사용한 원본", "확인된 사실", "합성한 판단", "충돌·불확실성", "적용 범위" — 이름만 조금 다르고 하는 일이 같았다.

특히 1주차에 만든 운영 카드에는 이런 규칙이 이미 적혀 있었다. "세부 노트를 열기 전에 목차부터 먼저 연다." 2주차 과제의 핵심 규칙이 "다른 조사를 시작하기 전에 메모부터 읽어라"인데, 같은 말이었다.

1주차는 규칙을 문서로 썼고, 2주차는 그 규칙을 실제로 돌려보는 거였다. 그 설명을 따로 파일로 저장해뒀다.

"그 다섯 개 답, 어디 파일에 저장돼 있어?"

1단계를 다시 설명받고 나서 문득 궁금해졌다. 다섯 개 항목을 정했다고 하는데, 그게 어디 있는 건지.

5개 질문에 대한 답은 어디 파일에 저장되어 있지?

확인해보니 어디에도 없었다. 대화창에만 있었다.

이게 웃긴 지점이었다. 이 강좌가 계속 말하는 문제가 "머릿속에만 있는 판단은 다음 작업에 전달되지 않는다"인데, 그걸 가르치던 AI가 똑같은 실수를 했다. Claude Code도 이걸 인정하고 바로 파일을 만들었다. "정했다"와 "적었다"는 다르다는 게 이 한 번으로 확실해졌다.

이어서 하나 더 물어봤다.

그럼 준비시트는 원래 knowledge에 있어야 하는건가?

답은 아니었다. AKM 문서에 판정 질문이 이미 있었다 — "누구한테나 참인가? 아니면 이 프로젝트에서만 참인가?" 준비시트에 적은 건 전부 이번 한 번짜리라 지식이 아니었다.

도시락으로 치면 이렇다. "오늘 도시락은 안 맵게 싸자"는 오늘 하루짜리 약속이고, "동생은 매운 걸 못 먹는다"는 앞으로도 계속 쓰는 요령이다. 준비시트는 위쪽이고, 지식은 아래쪽이다. 그리고 준비시트 안에서도 "확인 안 된 건 단정하지 않는다" 같은 부분만 골라서 지식으로 올라간다.

검사가 "누락"이라고 했는데, 고장 난 건 검사기였다

5단계는 만든 파일이 제대로 됐는지 확인하는 단계였다. Claude Code가 검사를 돌렸는데 하나가 빨간불이었다.

❌ 사전신청 → Knowledge 누락

여기서 그냥 넘어갔으면 빠진 내용을 추가했을 것이다. 그런데 파일을 직접 열어봤더니 멀쩡히 들어 있었다. 원문은 "신청: 사전 신청 필수"였고 메모에는 "사전 신청이 필요하다"로 적혀 있었다. 같은 사실인데 말을 다르게 썼을 뿐이고, 검사가 글자가 똑같은지만 봐서 못 찾았다.

검사를 고쳐서 다시 돌렸는데 또 빨간불이 떴다. 이번엔 출력 아래쪽에 이런 게 있었다.

ugrep: error: error at position 29

검사식을 잘못 써서 검사 프로그램 자체가 죽었고, 그게 "누락"으로 처리된 거였다. 에러 메시지를 안 읽고 숫자만 봤다면 멀쩡한 파일에 중복 내용을 집어넣을 뻔했다.

검사는 세 가지 방식으로 틀린다. 문제없는데 문제라고 하거나(오탐), 문제인데 조용히 넘어가거나(누락), 검사 자체가 죽어서 실패로 나오거나(고장). 두 번째가 제일 무서운데, 화면에는 초록불이 뜨기 때문이다.

"증거가 있다"던 AI의 주장을 무너뜨렸다

8단계는 이 과제의 최종 관문이었다. "첫 작업의 판단이 두 번째 작업에서 진짜로 쓰였나"를 증명해야 했다.

Claude Code가 앞 단계에서 이렇게 장담했었다. "주차 한 줄이 증인입니다. 메모를 읽었으니 주차가 확인 중으로 남았고, 안 읽었으면 어떻게 됐을지 모릅니다."

그럴듯했는데, 확인해보니 틀렸다. 새 공문에도 주차 이야기가 있었고, 첫 번째 안내문에도 있었다. 메모를 안 읽었어도 그 둘만 보고 같은 결론에 도달할 수 있었다. 증거가 못 된다.

그래서 기준을 다시 세웠다. "메모가 없었어도 똑같은 결과가 나왔을까?" 나왔을 것 같으면 증거가 아니다. 이 기준으로 결과물의 특징 여섯 개를 하나씩 걸러봤더니 전부 탈락했다.

이유는 두 가지였다. 첫째, 첫 번째 안내문 자체에 이미 판단이 묻어 있었다. 둘째, 과제가 준 새 자료가 너무 친절했다. "변경하지 않은 내용", "여전히 확인되지 않은 항목"까지 다 정리해줘서 메모가 할 일을 자료가 대신해버린 것이다.

결론은 이렇게 났다. "결과물은 잘 나왔지만, 메모 덕분이라고는 말할 수 없다."

솔직히 여기서 그냥 "역시 지식관리가 최고!"라고 쓰고 싶은 유혹이 있었다. 그런데 과제 판정 기준 여섯 번째가 정확히 그걸 막았다 — 측정하지 않은 시간·정확도·생산성 향상을 주장하지 않았습니다.

그래서 마지막 표를 쓸 때도 "메모 덕분에 지킬 수 있었다"가 아니라 "메모의 이 항목이 결과물의 이 줄에 나타난다"로만 적었다. 손가락으로 짚을 수 있는 것만 썼다.

✅ 결과 (After)

Before vs After

결과물

• 학습지 파일 — 9단계 설명 + 진행 중 던진 질문과 답 + 용어 12개 사전

• 준비 시트 — 다섯 개 설정값과 9단계 진행 체크리스트

• 과제 산출물 4개 — 결과물 두 버전, 지식 메모, 변화 기록

• 1주차와의 연결을 소풍 안내문 비유로 풀어쓴 배경 문서

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 결과가 빨리 나왔는데 남는 게 없으면, 그 자리에서 되돌리기. "한 단계씩 설명하면서 다시 해줘" 한마디면 된다. 이미 만든 결과물은 지우지 말고 옆에 치워두라고 하면 나중에 비교용이 된다

2. "더 쉽게"는 한 번으로 안 되면 될 때까지 요청하기. 나는 세 번 요청했고, 세 번째에야 소풍 안내문 비유가 나왔다. 어려운 게 내 문제가 아니라 설명 눈높이 문제일 수 있다

3. "그 답, 어느 파일에 저장돼 있어?"라고 물어보기. 이 질문 하나로 대화창에만 있던 설정값이 파일로 남았다

4. 검사가 빨간불이면 파일부터 직접 열어보기. 두 번 다 파일이 아니라 검사가 문제였다

이렇게 하면 안 돼요

1. 검사 결과의 숫자만 보고 출력을 안 읽기. 두 번째 경우는 에러 메시지가 아래쪽에 있었고, 그걸 놓쳤다면 멀쩡한 파일을 고쳤을 것이다

2. AI가 "이게 증거입니다"라고 하면 그대로 받아 적기. 증거인지 아닌지는 "그게 없었어도 같은 결과가 나왔을까"를 따져봐야 안다

3. 측정 안 한 걸 좋았다고 쓰기. 시간이 얼마나 줄었는지 안 재봤으면 "시간이 줄었다"고 쓰면 안 된다

🌍 다른 업무에 적용한다면?

AI에게 뭔가를 맡겼는데 결과만 오고 과정이 안 보일 때, 이 두 가지가 어디서나 통한다.

하나는 "한 단계씩 다시 해줘"다. 보고서든 분석이든 코드든, 한 번에 나온 결과물은 다음에 혼자 못 만든다. 시간이 몇 배 걸려도 한 번은 쪼개서 가볼 만하다.

다른 하나는 "그거 어느 파일에 있어?"다. AI랑 대화하면서 정한 건 놀랍도록 자주 아무 데도 저장되지 않는다. 정했다고 생각한 게 실제로 파일에 있는지 확인하는 습관 하나로 다음 작업이 훨씬 편해진다.

🚀 앞으로의 계획

3주차로 바로 넘어갈 예정이다. 과제 페이지가 예고하기로는 "매번 기억하지 않아도 되도록 읽기·쓰기·검증 규칙을 운영 표면에 정착시키는" 단계라고 한다. 1주차는 규칙을 문서로 썼고, 2주차는 손으로 한 바퀴 돌려봤으니, 3주차는 자동으로 돌게 만드는 셈이다. 이번에 만든 메모와 변화 기록이 그 입력이 된다.

📋 재사용 가능한 프롬프트

프롬프트 1: AI가 한 번에 끝냈을 때 되돌리기

아니 실습이니까 내가 학습할 수 있도록 한 단계씩 자세히 설명하면서 진행해줘. 각 단계마다 왜 이걸 하는지 먼저 설명하고, 단계가 끝나면 멈춰서 내가 이해했는지 확인해줘. 이미 만든 결과물은 지우지 말고 다른 폴더로 옮겨서 나중에 비교할 수 있게 해줘.

프롬프트 2: 설명이 어려울 때

아직 이해가 잘 안 되는데, [이번 작업]이 [앞 작업]과 어떻게 이어지는지 자세히 쉽게 설명해줘. 초등학생도 이해할 수 있을 정도로.
[이번 작업]과 [앞 작업]은 본인 상황에 맞게 변경하세요

프롬프트 3: 대화에서 정한 것이 저장됐는지 확인하기

방금 정한 [항목들]은 어느 파일에 저장되어 있지? 저장 안 됐으면 파일로 남겨줘.
[항목들]은 설정값, 결정사항, 기준 등 본인이 정한 것으로 변경하세요

프롬프트 4: 검사 결과를 의심하기

검사에서 [항목]이 실패로 나왔는데, 검사를 믿지 말고 해당 파일을 직접 열어서 진짜 없는지 확인해줘. 그리고 검사 출력 전체를 보여줘 — 에러 메시지가 섞여 있는지 봐야 해.

프롬프트 5: 증거인지 아닌지 따지기

지금 [주장]의 증거로 [근거]를 들었는데, 그게 진짜 증거인지 따져줘. 기준은 이거야 — "[전제]가 없었어도 같은 결과가 나왔을까?" 나왔을 것 같으면 증거가 아니야. 증거가 안 되면 안 된다고 말해줘.