평가를 통과했는데 AI는 사실 아무것도 안 읽고 있었다 — 내 위키에게 질문하는 AI 만들기
2026.08.04
📝 한줄 요약
쌓아만 두던 개인 위키에 질문할 수 있는 AI를 붙였습니다. 평가를 4/4로 통과해서 끝낼 뻔했는데, 답변 기록을 열어보니 AI가 목차 한 장만 보고 답하고 있었습니다.
바쁘시면 이것만 읽어도 돼요:
위키를 30페이지까지 쌓아놓고 한 번도 꺼내 쓴 적이 없어서, 질문에 답하는 AI를 붙였습니다
기획서에는 "별도 요금 때문에 막힌다"고 적어뒀는데, 그 요금이 안 드는 길이 이미 열려 있었습니다
25문항 인터뷰를 해보니 제가 원한 건 질의응답이 아니라 분야를 가로지르는 연결 찾기였습니다
평가 4/4를 받고 마무리할 참이었는데, AI가 답변 기록에 "권한이 없어서 목차만 봤다"고 스스로 적어놨습니다
"진짜로 읽었는지"를 기계가 판정하는 질문을 만들어 다시 재고, 5/5로 통과시켰습니다
결과: 뇌과학과 속독법이 정면으로 부딪히는 연결을 AI가 찾아냈습니다
🎯 이런 분들께 도움돼요
자료를 열심히 모으지만 정작 꺼내 쓰지는 못하는 분
AI에게 일을 맡기고 "잘 됐습니다"라는 결과를 어디까지 믿어야 할지 고민인 분
AI 도구의 "이 기능은 유료입니다"에 막혀 포기해본 분
😫 문제 상황 (Before)
지난 편까지 유튜브 전사를 자동으로 정리해 개인 위키로 쌓는 도구를 만들었습니다. 검사 기준이 잘못돼 억울하게 탈락하던 자료도 되살려서, 위키가 30페이지까지 늘었고요.
그런데 이번 작업을 준비하면서 스스로에게 물어보니 답이 옹색했습니다.
그 30페이지를 한 번도 꺼내 쓴 적이 없었습니다.
만들어놓고 창고에 넣어둔 셈이었어요. 쌓는 기계는 잘 돌아가는데 그걸 쓰는 방법이 없었습니다. 검색은 지난 편에 붙였지만, 정작 제가 궁금한 건 "과학에서 가장 중요한 개념은?" 같은 질문이거든요. 이런 질문은 '중요한'이라는 단어가 문서 어디에도 없어서 검색으로는 원리적으로 풀리지 않습니다.
🛠️ 사용한 도구
도구: Claude Code (기획·설계·검증), Codex CLI (구현)
모델: Claude Opus 5 / GPT-5.6
특이사항: 설계와 검증은 Claude가, 코드 작성은 Codex가 맡는 분업. 만든 쪽과 검사하는 쪽을 다른 프로그램으로 갈라놓아 자기 채점을 막습니다
🔧 작업 과정
질문 25개를 받고 나서 목적이 바뀌었다
바로 만들기 시작하지 않았습니다. 전에 봐뒀던 개인 지식관리 질문지 이미지를 던지면서 이렇게 요청했어요.
[이미지 첨부] 이 이미지의 질문을 기반으로 더 구체화 해보자
+ 각각 나에게 5개씩 질문해 (더 예리하게 맞춤형)
25개 질문이 돌아왔고, 하나씩 답했습니다. 그중 몇 개가 이번 작업의 방향을 통째로 바꿨습니다.
3-1: 새로운 아이디어가 나왔다, 블로그 글이나 연구주제 상관없이
3-4: 결국에는 다양한 분야를 다루는 통섭, 복잡계를 다루고 싶어
제가 생각하는 성공은 "질문에 정확히 답한다"가 아니라 "새로운 아이디어가 나왔다"였습니다. 그러니까 제가 원한 건 검색 잘 되는 위키가 아니라 분야와 분야를 이어붙여주는 무언가였어요.
이걸 인터뷰 없이 그냥 만들었다면, 저는 잘 만들어진 질의응답 기계를 받아들고 "그런데 왜 별로 안 쓰게 되지?"라고 갸웃했을 겁니다.
"유료라서 못 한다"고 적어둔 게 사실이 아니었다
기획 문서에는 이 단계의 걸림돌이 분명히 적혀 있었습니다. "AI 에이전트 개발 키트는 구독과 별도로 요금이 붙는다." 그래서 미뤄뒀던 거고요.
그런데 이번에 열어보니 사정이 달랐습니다. 지금 이 도구는 이미 제 구독을 그대로 쓰면서 AI를 부르고 있었어요. 다만 도구 사용 권한을 전부 닫아둔 채였을 뿐입니다. 요약을 시키는 용도였으니 파일을 읽을 필요가 없었던 거죠.
즉 그 권한을 열면 그대로 에이전트가 됩니다. 별도 요금이 붙는 건 개발 키트를 쓸 때 이야기였고, 안 쓰면 발생하지 않는 비용이었습니다.
그래서 방향을 뒤집었습니다. 에이전트를 프로그램으로 만들지 않기로 했어요. 대신 위키 폴더 안에 규칙 문서를 두고, 그 폴더에서 AI 대화를 여는 방식으로 갔습니다. 답변 형식은 이렇게, 근거는 반드시 이렇게 표기하고, 위키 파일은 직접 고치지 말 것 — 이런 규율을 글로 적어두는 겁니다.
새로 만든 건 능력이 아니라 제약이었습니다. 추가 비용은 0원이었고요.
규율을 넣기 전에 먼저 점수를 재뒀다
여기서 한 가지를 먼저 했습니다. 규칙 문서를 넣기 전에 평가를 돌린 겁니다.
결과는 0/4. 네 문제 전부 틀렸습니다.
이걸 왜 먼저 했냐면, 나중에 통과했을 때 그게 규율 덕분인지 아니면 원래 쉬웠던 질문인지 구분할 방법이 없기 때문입니다. 0점 기록이 있어야 "이 규칙이 실제로 일했다"고 말할 수 있어요.
규칙 문서를 넣고 다시 돌리니 4/4가 나왔습니다.
4/4를 받았는데, 답변 기록을 열어봤더니
여기서 끝낼 수 있었습니다. 만점이니까요.
그런데 실제 답변이 어떻게 생겼는지 궁금해서 기록을 열어봤습니다. 그리고 거기서 AI가 스스로 적어둔 한 줄을 발견했습니다.
권한이 거부되어 목차 문서만 읽고 답했습니다.
위키 페이지를 하나도 안 연 겁니다. 목차에 해당하는 요약 문서 한 장만 보고 답을 지어낸 거예요.
그런데도 만점이었습니다.
원인이 두 겹이었습니다.
첫째, AI를 자동으로 부를 때 "권한 물어보지 마"라고만 지정하고 "이 도구들을 써도 된다"고 지정하지 않았습니다. 사람이 옆에 있는 대화창에서는 알아서 열리던 것이, 자동 실행에서는 열리지 않았던 거죠.
둘째가 더 무서웠습니다. 채점 기준이 "관련 문서 경로를 정확히 댔는가"였는데, 목차에 그 경로가 전부 적혀 있었습니다. 파일을 안 열어도 목차만 보고 베끼면 만점을 받을 수 있는 시험지였던 겁니다.
시험이 잘못 설계돼 있었습니다. 지난 편에서 검사기가 요약 품질 대신 말투를 재고 있었던 것과 정확히 같은 종류의 문제였어요.
"진짜로 읽었는지"를 기계가 판정하게 하려면
권한 문제는 도구 목록을 명시하는 것으로 해결됐습니다. 이때 읽기 권한만 열고 쓰기 권한은 열지 않았습니다. 에이전트가 위키를 직접 고칠 수 없게 만들어서, 품질 검사를 우회하는 길 자체를 막아둔 겁니다.
문제는 두 번째였습니다. "실제로 파일을 열었는가"를 어떻게 기계가 판정하죠?
여기서 목차 문서의 성질을 이용했습니다. 목차에는 각 페이지의 앞부분이 발췌돼 들어가는데, 120자에서 잘립니다. 그러니까 121자 뒤에 있는 문장은 파일을 직접 열지 않으면 절대 볼 수 없어요.
그래서 잘린 지점 뒤에만 등장하는 표현을 하나 골라 채점 기준에 넣었습니다. 이 표현이 답변에 나오면 파일을 열었다는 뜻이고, 안 나오면 목차만 본 겁니다. 사람이 판단할 필요 없이 기계적으로 갈립니다.
이 방식으로 다섯 번째 문제를 새로 만들고 다시 돌렸습니다. 5/5.
이번 점수는 아까와 무게가 다릅니다. 0/4는 채점이 헐겁지 않다는 증거고, 4/4는 규칙이 작동한다는 증거고, 5/5는 AI가 실제로 자료를 읽었다는 증거입니다. 세 숫자가 각각 다른 것을 증명해요.
뇌과학과 속독법이 부딪혔다
이제 진짜 목적으로 갔습니다. 분야를 가로지르는 연결 찾기요.
도메인 네 개에서 만들 수 있는 짝 여섯 개를 전부 훑게 했더니 연결 14건이 나왔습니다. 인용이 원문과 맞는지 검사했고, 지어낸 내용은 0건이었습니다.
가장 재미있었던 건 정면으로 부딪히는 연결 2건이었어요.
속독법: 노력 없이 정보를 흡수한다
뇌과학: 반복 암기 없이는 의미기억이 확장되지 않는다
서로 다른 채널의 두 사람이 각자 자기 이야기를 한 건데, 나란히 놓으니 정면으로 어긋납니다. 제가 두 영상을 다 봤으면서도 눈치채지 못한 부분이었습니다.
흥미로운 규칙성도 보였습니다. 충돌은 두 분야가 같은 질문을 다룰 때만 생깁니다. 나머지 짝은 아예 질문이 겹치지 않아서 부딪힐 일이 없었어요. 반대로 한쪽이 다른 쪽을 직접 언급하는 짝(투자 이야기가 AI 반도체를 거론하는 식)에서는 충돌 대신 인과 관계가 나왔습니다.
그리고 하나 더. 에이전트가 연결 두 건을 스스로 거절했습니다.
근거가 없습니다. 건강·과학 도메인 16건 중 뇌파를 다루는 페이지가 하나도 없습니다.
지어내지 않고, 뭐가 없어서 못 하는지까지 짚어줬습니다. 다음에 어떤 영상을 넣어야 하는지가 감이 아니라 데이터로 나온 셈이었어요.
곁들여서: AI가 또 제 지시를 반려했다
지난 편에서도 한 번 있었는데, 이번에도 나왔습니다.
위키 링크가 분야 경계를 넘도록 고치는 작업을 맡기면서, 저는 결과 보고에 항목을 하나 추가하라고 지시했습니다. 그랬더니 구현을 맡은 AI가 파일을 하나도 건드리지 않고 이렇게 보고했어요.
이 지시를 따르면 기존 검사가 반드시 실패합니다. 기존 검사가 결과 보고를 통째로 비교하는 방식이라, 항목을 추가하는 순간 어긋납니다.
확인해보니 맞았습니다. 이번에도 틀린 쪽은 제 지시였어요.
이게 가능한 이유는 지시문에 항상 한 줄을 넣어두기 때문입니다.
검증 조건이 틀렸다고 판단되면 고치지 말고 보고하라.
이 프로젝트에서 이 문장이 작동한 게 이번이 세 번째였고, 세 번 다 틀린 쪽은 제 조건이었습니다.
✅ 결과 (After)
Before vs After
항목 | Before | After |
|---|---|---|
위키 활용 | 30페이지 쌓아두고 한 번도 안 꺼냄 | 질문하면 근거를 인용해 답함 |
평가 점수 | 0/4 (규율 없는 상태) | 5/5 (실제로 읽는지까지 판정) |
분야 간 연결 | 없음 (각 분야가 따로 쌓임) | 연결 14건 (충돌 2건 포함) |
위키 페이지 | 30개 | 34개 |
자동 검사 항목 | 38개 | 71개 |
추가 비용 | — | 0원 (구독 그대로) |
무엇이 실제로 달라졌나
처음으로 위키에게 질문할 수 있게 됐습니다. 그동안은 자료를 넣기만 하는 창고였는데, 이제 물어보면 답이 옵니다. 그것도 "제 기억으로는"이 아니라 어느 파일 몇 번째 문서에서 나온 이야기인지 짚어가면서요.
없는 건 없다고 말하는 것도 컸습니다. 양자역학을 물었더니 "위키에 없습니다"라고 답하면서 현재 어떤 분야가 채워져 있는지 표로 보여줬어요. 지어내지 않는다는 걸 확인하고 나니 답을 믿고 쓸 수 있게 됐습니다.
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
규칙을 넣기 전 점수를 먼저 재두기
0/4라는 기록이 있어서 "규칙이 실제로 일했다"고 말할 수 있었습니다. 이게 없으면 통과가 규칙 덕인지 원래 쉬운 문제였는지 영영 모릅니다."만들었다"와 "동작한다"를 따로 확인하기
만점을 받고도 AI는 자료를 안 읽고 있었습니다. 통과는 동작의 증거가 아닙니다. 결과 점수 말고 과정 기록을 열어보세요."안 열면 볼 수 없는 것"을 채점 기준에 넣기
요약본에서 잘려나간 뒤쪽 문장을 기준으로 삼으니, 실제로 읽었는지가 사람 판단 없이 갈렸습니다. 검사는 우회 불가능한 지점을 잡아야 합니다.만들기 전에 인터뷰 받기
25문항에 답하면서 제 목적이 질의응답이 아니라는 걸 알았습니다. 그냥 만들었으면 잘 만든 엉뚱한 물건을 받았을 겁니다.AI에게 권한 대신 제약을 주기
읽기만 열고 쓰기는 닫았습니다. 편의는 조금 줄지만, 검사를 우회하는 길이 구조적으로 막힙니다.
이렇게 하면 안 돼요
"유료라서 못 한다"를 확인 없이 믿기
기획서에 제가 직접 적어둔 제약이었는데, 다시 보니 그 비용이 안 드는 길이 이미 있었습니다. 자기가 적어둔 제약도 시간이 지나면 다시 확인해야 합니다.점수만 보고 마무리하기
4/4에서 멈췄으면 목차만 읽는 AI를 "완성"이라고 부르고 넘어갔을 겁니다.자동 실행 환경이 대화창과 같을 거라 가정하기
사람이 옆에 있을 때 열리던 권한이 자동 실행에서는 안 열립니다. 무인으로 돌릴 땐 필요한 것을 하나씩 명시해야 합니다.
🌍 다른 업무에 적용한다면?
평가를 만들 때 "베끼기로 통과할 수 있나"를 먼저 확인하세요. 이번 시험지는 답이 문제지에 적혀 있는 꼴이었습니다. 신입 교육 자료든 업무 체크리스트든, 요약본만 보고도 통과할 수 있으면 그 검사는 아무것도 재지 못합니다.
결과 대신 과정을 열어보세요. 보고서에 "완료"라고 적혀 있어도, 실제로 어떤 자료를 봤는지 물으면 다른 그림이 나올 때가 있습니다. 사람에게도 AI에게도 같습니다.
정보를 모으는 일과 쓰는 일은 별개입니다. 저는 위키를 30페이지 쌓고도 한 번도 안 꺼냈습니다. 자료를 모으는 습관이 있다면, 꺼내 쓰는 방법도 따로 만들어야 합니다. 안 그러면 잘 정리된 창고가 됩니다.
🚀 앞으로의 계획
에이전트가 "뇌파를 다룬 자료가 없어서 이 연결은 못 한다"고 짚어줬으니, 다음은 그 빈칸을 채우는 일입니다. 뭘 더 넣어야 하는지가 감이 아니라 데이터로 나왔으니까요.
아직 판단을 미뤄둔 연결도 10건 남아 있습니다. 구조는 비슷한데 분야가 달라서 조금 회의적으로 봐야 하는 것들이에요. 자료가 더 쌓인 뒤에 다시 볼 생각입니다.
📋 재사용 가능한 프롬프트
프롬프트 1: 만들기 전에 인터뷰 받기
[만들려는 것]을 만들려고 합니다. 바로 시작하지 말고 먼저 저를 인터뷰해주세요.
[관련 분야]의 관점에서 5개 축으로 나누고, 축마다 5개씩 총 25문항을 만들어
한 번에 하나씩 물어봐 주세요.
제 답변에서 제가 말한 목적과 실제로 원하는 것이 어긋나는 지점이 보이면
지적해주세요.
프롬프트 2: 평가가 베끼기로 통과되는지 점검하기
[평가/체크리스트]를 만들었습니다. 채점하기 전에 먼저 검사해주세요.
이 평가를 자료를 실제로 보지 않고도 통과할 방법이 있습니까?
요약본·목차·제목만 보고 답할 수 있는 문항이 있으면 지목해주세요
실제로 원문을 열지 않으면 알 수 없는 것을 기준으로 문항을 다시 만들어주세요
프롬프트 3: 통과 결과를 그대로 믿지 않기
[작업]이 검사를 전부 통과했다고 나옵니다. 통과 여부 말고 과정을 확인해주세요.
실제로 어떤 파일을 열었는지 기록을 확인
도구·권한이 의도대로 열렸는지 확인
통과했지만 의도와 다르게 동작한 부분이 있으면 보고
"통과했으니 정상"이라고 결론 내리지 마세요.
로그인하고 댓글을 남겨 주세요




만점을 받고 끝낼 수 있는 자리에서 답변 기록을 열어보신 것이 이 글의 전부라고 해도 될 것 같습니다. 거기서 "권한이 거부되어 목차 문서만 읽고 답했습니다" 라는 한 줄이 나왔고, 통과 표시와 실제 동작이 어긋나 있었습니다. "통과는 동작의 증거가 아닙니다" 라는 결론이 이 발견에서 나왔으니, 근거가 붙은 문장입니다.
원인 진단이 두 겹으로 갈린 것도 정확합니다. 권한을 명시하지 않은 것은 설정 문제지만, 두 번째가 훨씬 무겁습니다. 채점 기준이 관련 문서 경로를 댔는지를 보는 것이었고 "목차에 그 경로가 전부 적혀 있었습니다" — 즉 "파일을 안 열어도 목차만 보고 베끼면 만점을 받을 수 있는 시험지였던 겁니다". 여기서 일반형을 하나 뽑을 수 있습니다. 검사 기준을 만들 때 그 기준을 만족시키는 가장 싼 경로를 먼저 찾아봐야 한다는 것입니다. 이번 시험의 최소 경로는 목차 베끼기였고, 그 경로가 존재하는 한 채점은 읽었는지를 재지 못합니다. 프롬프트로 정리해두신 "이 평가를 자료를 실제로 보지 않고도 통과할 방법이 있습니까?" 가 정확히 그 점검입니다.
해법도 좋았습니다. 목차 발췌가 잘리는 성질을 이용해 "121자 뒤에 있는 문장은 파일을 직접 열지 않으면 절대 볼 수 없어요" 를 채점 기준으로 삼으셨는데, "검사는 우회 불가능한 지점을 잡아야 합니다" 라는 원칙이 실물로 구현된 사례입니다. 사람 판단을 넣지 않고 기계적으로 갈리게 만든 것도 중요합니다.
그리고 이 글에서 가장 값이 큰 문장은 세 숫자를 갈라 읽으신 대목이라고 봅니다. "0/4는 채점이 헐겁지 않다는 증거고, 4/4는 규칙이 작동한다는 증거고, 5/5는 AI가 실제로 자료를 읽었다는 증거입니다" 와 "세 숫자가 각각 다른 것을 증명해요" — 같은 형식의 숫자가 서로 다른 명제를 지지한다는 것을 이렇게 명확히 적은 기록은 드뭅니다. 규칙을 넣기 전에 먼저 재두신 순서가 있었기 때문에 두 번째 숫자가 의미를 갖는데, 그 순서를 지키는 것이 실제로는 가장 참기 어려운 부분입니다.
여기서 한 가지를 보태고 싶습니다. 네 번째 숫자를 하나 더 재보시면 좋겠습니다. 새로 만든 문항이 우회 불가능하다는 것은 아직 설계상의 주장이고 실측은 아닙니다. 지난 편에서 검사기를 검증하실 때 일부러 틀린 자료를 심어 거부되는지 확인하셨는데, 이번 문항에는 그 대조를 걸지 않으셨습니다. 목차만 읽을 수 있는 상태로 다섯 번째 문항을 한 번 돌려서 실제로 실패하는지 보시면, 그 문항이 읽기 여부를 가른다는 것이 증거가 됩니다. 지금은 권한을 열고 통과한 결과만 있어서, 문항이 판별력이 있어서 통과한 것인지 그냥 통과했는지가 갈리지 않습니다. 방법은 이미 갖고 계시니 한 번 돌리는 것으로 닫힙니다.
권한 대신 제약을 주신 판단도 남겨둘 만합니다. 읽기만 열고 쓰기를 닫아 검사를 우회하는 길을 구조적으로 막으셨고, "새로 만든 건 능력이 아니라 제약이었습니다" 로 정리하셨습니다. 능력을 늘리는 쪽으로 손이 가는 국면에서 제약을 택하는 것이 검수 작업의 방향이라 생각합니다.
기획서에 적어둔 걸림돌이 사실이 아니었다는 대목도 값이 큽니다. "자기가 적어둔 제약도 시간이 지나면 다시 확인해야 합니다" — 남이 말한 제약은 의심하는데 자기가 적은 제약은 사실로 취급하기 쉽고, 그 사이에 조건이 바뀝니다. 그리고 에이전트가 연결 두 건을 "근거가 없습니다. 건강·과학 도메인 16건 중 뇌파를 다루는 페이지가 하나도 없습니다" 로 거절한 것과, "충돌은 두 분야가 같은 질문을 다룰 때만 생깁니다" 라는 규칙성을 관찰하신 것도 이 작업의 실질입니다. 무엇을 못 하는지가 데이터로 나오면 다음에 무엇을 넣어야 하는지가 감이 아니게 됩니다.