위키를 만들려고 시작했는데, 20일 동안 배운 건 AI를 의심하는 법이었습니다

📝 한줄 요약

유튜브 영상을 정리해 개인 위키를 만들려고 7월 27일에 시작했습니다. 20일 동안 일곱 편을 썼고, 그중 재료를 실제로 넣은 편은 없습니다. 매번 다른 이유로 밀렸는데 그 이유가 전부 같은 종류였어요. AI가 한 일을 믿을 수 있는지 확인하는 일이었습니다.

바쁘시면 이것만 읽어도 돼요:

• 4편에서 "도구는 더 만들 게 없고 부족한 건 재료"라고 적었는데, 그 뒤 세 편이 전부 도구 이야기였습니다

• 일곱 편의 검사 대상을 순서대로 놓으면 한 계단씩 올라갑니다 — 결과물 → 검사기 → 평가 → 자동화 → 자기보고 → 연결 → 감시 장치

• 가장 자주 나온 실패는 "틀린 답"이 아니라 "맞는 답인데 근거가 없는 것"이었습니다. 결과가 맞으면 아무도 다시 안 봅니다

• 두 번째로 자주 나온 건 통과가 아무것도 증명하지 않는 경우입니다. 4점 만점을 받은 AI가 목차만 읽고 있었어요

• 스무 날 동안 제일 값이 컸던 건 도구가 아니라 "만든 쪽과 검사하는 쪽을 다른 AI에 맡긴다"는 배치 하나였습니다

• 재료를 못 넣은 건 게으름이 아니었습니다. 넣을 그릇이 새고 있었습니다

🎯 이런 분들께 도움돼요

• AI에게 일을 시켜놓고 결과를 어디까지 믿어야 할지 모르겠는 분

• AI로 뭔가 만들다가 "이게 제대로 된 건가" 싶어 손이 멎었던 분

• 개인 지식 관리나 자동화를 만들어봤는데 쌓이기만 하고 안 쓰이는 분

• 연재 1~7편을 띄엄띄엄 보신 분 (여기 다 있습니다)

😫 문제 상황 (Before)

7월 말에 이렇게 시작했습니다. 유튜브에서 본 좋은 영상들이 머릿속에서 계속 흩어지니까, 전사를 떠서 위키로 쌓아두고 나중에 질문하면 답해주는 걸 만들자. 목표가 명확했고 순서도 뻔해 보였어요. 파이프라인 만들고, 자료 넣고, 검색 붙이고, 끝.

첫 편에서 이미 계획이 어긋났습니다. 파이프라인을 만들려고 앉았는데, 그걸 만들 도구부터 바꿔야 했거든요. 그러면서 얼떨결에 구조 하나가 생겼습니다. 한쪽이 짜고 다른 쪽이 검사하는 배치요. 그때는 그냥 편의였는데 나중에 이게 전부가 됩니다.

🛠️ 사용한 도구

• Claude Code: 기획·검증·판정. 일곱 편 전부에 등장

• Codex CLI: 구현 담당. 1편부터 계속

• Antigravity / Gemini CLI: 5편부터 합류. 다른 계열 검사역

• 기간: 2026년 7월 27일 ~ 8월 16일 (20일, 7편)

🔧 20일을 되짚으면

1편 — 짜는 쪽과 보는 쪽을 나눈 날

유튜브 정리 위키를 기획하다가 구현을 맡길 도구를 바꿨습니다. 그러다 Codex가 코드를 짜고 Claude가 그걸 검증하는 배치가 나왔어요.

당시엔 이걸 워크플로우 재사용 정도로 적어뒀습니다. 지금 보면 이 편에서 나온 게 나머지 여섯 편의 전부였습니다. 만든 쪽에게 검사를 맡기지 않는다는 것 하나요.

2편 — 검사기가 엉뚱한 걸 재고 있었습니다

자료를 쌓으려는데 검사기가 8편 중 5편을 탈락시켰습니다. 왜 떨어지나 보니 요약의 품질이 아니라 영상 진행자의 말투를 재고 있었어요. 어떤 진행자가 "하기"라는 말을 217번 쓰면 그 사람 자료는 전부 낮은 점수를 받았습니다.

0.05점을 받은 요약이 사실 가장 정확했습니다.

기준을 바꾸자 탈락했던 자료가 되살아나 위키가 두 배 가까이 늘었어요. 검사기가 있다는 것과 그게 옳은 걸 재고 있다는 건 다른 얘기였습니다.

3편 — 4점 만점인데 아무것도 안 읽고 있었습니다

쌓인 위키에 질문하면 답하는 AI를 붙였습니다. 평가에서 4점 만점을 받아서 끝낼 뻔했는데, 답변 기록을 열어보니 목차 한 장만 보고 답하고 있었어요.

내용을 안 읽고도 만점이 나온 겁니다. 점수는 "그럴듯한 답을 냈는가"를 재고 있었고, 저는 그걸 "제대로 읽었는가"로 읽고 있었습니다.

이때 처음으로 통과가 아무것도 증명하지 않을 수 있다는 걸 봤습니다. 나중에 일곱 번째 편에서 정확히 같은 형태를 다시 만납니다.

4편 — "이제 재료만 넣으면 된다"고 적었습니다

자동으로 쌓는 도구를 만들어놓고 보니 잘못 들어간 걸 빼낼 방법이 없었습니다. 지우는 기능을 만들어 가짜 재료에서 나온 문서 4건을 걷어냈고, 위키가 43건에서 39건으로 줄었습니다.

그리고 이 편 끝에 이렇게 적었어요.

도구는 더 만들 게 없고, 부족한 건 재료입니다.

이 문장이 이 회고록의 반환점입니다. 이때는 정말 그렇게 믿었습니다. 그리고 그 뒤로 세 편을 더 썼는데, 세 편 다 도구 이야기였고 재료는 한 번도 안 들어갔습니다.

5편 — "다 고쳤습니다" 다음에 "아니요"가 왔습니다

재료를 넣기 전에 도구가 멀쩡한지 확인만 하려던 참이었습니다. 그런데 확인하는 명령 자체가 제 기록을 망가뜨렸어요. "미리보기만 한다"고 적혀 있던 명령이었습니다.

고치는 과정에서 만드는 AI와 검사하는 AI를 따로 두자, 혼자였으면 못 봤을 결함이 세 건 더 나왔습니다. 만든 쪽이 "다 고쳤습니다"라고 한 다음에 검사하는 쪽이 "아니요"라고 했어요.

재료를 못 넣은 두 번째 편입니다. 이유는 분명했습니다 — 재료를 넣는 통로가 새고 있었거든요.

6편 — 쌓아둔 걸 꺼내보니 절반이 헛것이었습니다

위키 39건에서 처음으로 글 3편을 꺼냈습니다. 그런데 AI가 "이 둘은 이런 점에서 이어집니다"라고 정리해준 연결 14건 중 5건이 원본과 어긋나 있었어요. 그중 3건은 1차 검사를 통과한 뒤 재검사에서야 잡혔습니다.

이 편에서 계열이 다른 AI를 붙였더니 둘 다 놓친 걸 찾았습니다. 같은 종류끼리는 못 보는 데가 겹친다는 걸 처음 확인한 자리예요.

그리고 이 편에서 규칙을 만든 그날 제가 그 규칙을 어겼습니다. 이것도 나중에 반복됩니다.

재료를 못 넣은 세 번째 편입니다. 이번엔 반대 이유였어요. 쌓아둔 게 절반은 헛것이라 더 부어봐야 검증 안 된 게 더 쌓일 뿐이었습니다.

7편 — 감시하라고 만든 장치가 끝난 명령을 쥐고 있었습니다

AI 다섯을 팀으로 묶었습니다. 6편에서 "검사하는 쪽끼리 계열을 가르는 걸 다른 일에도 써보겠다"고 적었는데, 그 다른 일이 이거였어요.

팀을 감시하는 장치를 열어봤더니 이미 다 처리된 일곱 글자짜리 지시를 열두 시간 유효한 권한으로 아직 들고 있었습니다. 자기 자신을 초기화하라는 지시였고, 문자 그대로 따르면 무한히 반복되는 구조였어요.

제가 내놓은 해결책은 다른 AI에게 검사시키자마자 깨졌습니다. 낡은 걸 막으려는 장치가 하필 낡은 자리에서 풀린다는 지적이었고 맞는 말이었습니다.

이 편은 코드를 한 줄도 안 고치고 끝났습니다.

✅ 결과 (After)

20일의 Before vs After

숫자로 안 잡히는 것

위키는 39건에서 안 늘었습니다. 목표만 놓고 보면 20일 동안 제자리예요.

그런데 39건의 성격이 달라졌습니다. 시작할 때는 "AI가 넣어준 것"이었고 지금은 "검사를 통과한 것"입니다. 4편에서 4건을 일부러 뺐고, 6편에서 연결 5건을 걷어냈어요. 줄어든 게 성과인 경우가 두 번 있었습니다.

💬 20일 동안 반복해서 만난 것 여섯

1. 맞는 답인데 근거가 없는 경우

일곱 편 중 다섯 편에서 나왔습니다. 가장 흔하고 가장 오래 살아남는 형태예요. 결과가 맞으면 아무도 다시 안 보기 때문입니다.

7편에서만 세 번 나왔고 그중 하나는 제 것이었습니다. "확인해보니 없더라"고 적었는데 저는 그걸 잰 적이 없었어요. 결과는 맞았습니다.

2. 통과가 아무것도 증명하지 않는 경우

3편에서 4점 만점을 받은 AI가 목차만 읽고 있었고, 7편에서 확인 명령이 세상과 무관하게 항상 같은 답을 뱉고 있었습니다. 아무것도 안 하는 검사기도 통과는 잘 시킵니다.

이후로는 항상 일부러 고장 낸 상태에서 잡히는지를 같이 봅니다.

3. 만든 쪽이 검사하면 안 되는 이유

1편부터 7편까지 한 번도 예외가 없었습니다. 5편에서는 "다 고쳤습니다" 뒤에 "아니요"가 왔고, 7편에서는 제가 낸 해결책이 남에게 넘기자마자 깨졌어요.

자기 안은 자기 눈에 좋아 보입니다.

4. 같은 종류끼리는 못 보는 데가 겹친다

6편에서 처음 확인했고 7편에서 확실해졌습니다. 계열이 다른 AI가 나머지 셋이 못 낸 항목 하나를 냈어요.

다만 대가가 있습니다. 같은 보고서에서 존재하지 않는 값을 지어냈거든요. 다양성을 얻으면 대조 비용이 붙습니다.

5. 규칙을 만든 사람이 그 규칙을 어긴다

6편에서 한 번, 7편에서 두 번 나왔습니다. 7편에서는 "내 값을 믿지 마라"라고 적은 문서 바로 위에 확인 안 한 값을 실었어요.

규칙이 없어서 어기는 게 아닙니다. 있는 규칙을 그 상황에 연결하지 못해서 어깁니다. 그래서 요즘은 규칙을 늘리기보다 빈칸으로 만드는 쪽을 봅니다. 빈칸은 안 채우면 보이는데, 없는 칸은 안 보이니까요.

6. 같은 걸 세 번 확인해도 증거가 안 되는 경우

이건 마지막 편에서 감시역이 자기 회고에 적은 건데, 스무 날 통틀어 제일 아팠습니다.

감시역은 어떤 문제를 세 번 재현했습니다. 같은 시도를 세 번 했고 세 번 다 실패했으니, 도구에 결함이 있다고 결론 내리고 보고서를 올릴 준비까지 했어요. 실패가 쌓일수록 확신이 커졌습니다.

나중에 기록을 역산해보니 세 번 다 같은 착각 위에서 한 시도였습니다. 화면에 남아 있던 잔상을 실제 상태로 믿고 있었고, 실은 아무 문제도 없는 동작을 세 번 실패로 세고 있었어요.

그가 남긴 문장이 이겁니다.

반복은 독립적일 때만 증거가 됩니다.

전제가 같으면 백 번을 재현해도 확신만 백 배가 되고 사실은 한 걸음도 안 나갑니다. 저도 위키 연결을 검사할 때 같은 자료를 여러 번 물어봤는데, 매번 같은 요약을 보고 판단했으니 그것도 한 번이었던 셈입니다.

🤝 그리고 혼자서는 자기를 다 의심할 수 없습니다

마지막 편이 끝나고, 감시역과 제가 각자 회고를 썼습니다. 서로 안 보고 따로요.

겹치는 항목이 하나도 없었습니다.

저는 제 지시문에 "확인해보니 없더라"고 적어놓고 그걸 잰 적이 없다는 걸 스스로 찾았습니다. 감시역은 그걸 못 찾았어요. 감시역은 승인 대기가 사라진 게 자기 조치였다는 것과, 자기가 보낸 문자 하나가 제 입력에 붙어버린 사고를 찾았습니다. 저는 둘 다 못 찾았습니다.

같은 사흘을 같은 자리에서 보고도 그렇습니다.

스무 날 동안 저는 계속 "검사 단계를 하나 더 두자"는 쪽으로 움직였습니다. 그런데 단계를 늘리는 것만으로는 이게 안 막힙니다. 제안한 사람과 승인한 사람이 같은 실수를 나란히 통과시킬 수 있으니까요. 실제로 마지막 편에서 그 일이 있었습니다. 감시역이 낸 규정을 제가 소스도 안 열어보고 승인했고, 둘 다 틀렸습니다.

필요한 건 단계가 아니라 다른 자리였습니다. 다른 자리에 앉은 쪽이 다른 걸 봅니다.

제목을 "의심하는 법을 배웠다"고 달았는데, 정확히는 이걸 배웠습니다. 혼자서는 자기를 다 의심할 수 없다는 것.

🌍 다른 업무에 적용한다면?

보고서·기획서 검토가 제일 가깝습니다. 초안 쓴 사람이 자기 초안을 검토하지 않게 하고, 검토자에게 요약본 말고 원본을 직접 열게 하면 됩니다. 요약만 주고 "맞는지 봐주세요"라고 하면 요약이 틀렸을 때 안 잡힙니다. 6편에서 연결 5건이 어긋난 게 정확히 그 상황이었어요.

자동화를 만들었을 때는 잘 될 때 잘 되는 걸 확인하지 마세요. 일부러 고장 내보는 게 훨씬 빠릅니다.

"지난번에 정한 대로 갈게요" 하는 순간에는 그 사이 전제가 바뀌었는지 한 번 봐야 합니다. 7편에서 사고 두 건이 정확히 여기였습니다.

🚀 앞으로의 계획

재료는 여전히 안 들어갔습니다. 세 편 연속으로 미뤘고 7편에서는 아예 그 얘기를 안 했어요.

그런데 되짚어보니 미룬 게 잘못은 아니었던 것 같습니다. 5편에서 그대로 넣었으면 새는 통로로 들어가 기록이 어긋난 채 쌓였을 거고, 6편에서 넣었으면 검증 안 된 연결이 더 쌓였을 겁니다. 넣을 그릇이 새는 동안 안 넣은 셈이에요.

다만 이제는 핑계가 떨어졌습니다. 통로는 막았고 걸러내는 법도 만들었으니까요.

그래서 다음은 두 가지입니다. 하나는 7편에서 찾아놓고 못 고친 결함을 실제로 고치는 것. 남은 방법이 사실상 하나뿐이고 그마저 문제를 셋 안고 있어서, 네 번째 방법을 찾아야 할 것 같습니다.

다른 하나는 팀을 줄이는 것입니다. 다섯을 유지하는 비용이 생각보다 컸어요. 서로 정정하고 확인하는 데 사흘이 갔는데 그게 다 값진 건 아니었습니다. 20일 동안 배운 게 "검사를 붙여라"였다면, 다음 20일은 "어디까지 붙일 것인가"가 될 것 같습니다. 검사를 늘리는 데는 끝이 없거든요.

여덟 번째 편에서는 재료 얘기를 하고 싶습니다.

📋 재사용 가능한 프롬프트

20일 동안 반복해서 쓴 것만 골랐습니다. 편마다 흩어져 있던 걸 여기 모았어요.

프롬프트 1: 일부러 고장 낸 상태에서 잡히는지 (2·3·7편)

[만든 것]이 제대로 동작하는지 확인해줘. 단 정상일 때 통과하는 것만 보지 마.
[핵심 요소]를 일부러 빠뜨리거나 망가뜨린 상태에서도 경고를 내는지 시험하고,
그 시험 명령과 결과를 그대로 보여줘.
고장 낸 상태에서도 통과했다면 그건 검사가 아니라고 보고해줘.

프롬프트 2: 결론 말고 근거를 검사시키기 (전 편)

이 판단의 결론이 아니라 근거를 봐줘.
결론이 맞더라도 근거가 없거나 낡았으면 그걸 지적해줘.

• 실제로 측정한 값인지, 어디서 옮겨온 값인지

• "없다"고 적힌 게 있으면, 무엇을 무엇으로 찾아서 없다고 한 건지

• 도구를 썼다면 그 도구가 고장났을 때도 같은 답을 내지는 않는지

프롬프트 3: 만든 쪽 말고 다른 쪽에 검사 맡기기 (1·5·6·7편)

아래 결과물을 깨줘. 보완이 아니라 반례를 찾아줘.
만든 쪽의 설명이나 내 의견은 일부러 주지 않을게. 네 판단만 보고 싶어.

• 원본 자료를 직접 열어서 대조해줘. 요약본으로 판단하지 마

• 확신 없는 건 확신 없다고 적고, 측정 안 한 값은 지어내지 말고 빈칸으로 둬

[결과물]

프롬프트 4: AI가 이어준 연결을 원문과 대조시키기 (6편)

네가 정리해준 연결 [N건]을 하나씩 원문과 대조해줘.
요약이나 메모 말고 원문 전체를 읽고 판단해.
방향이 어긋나거나 원문이 정반대를 말하는 게 있으면 그것만 따로 모아줘.
애매한 건 애매하다고 남기고 억지로 판정하지 마.

프롬프트 5: 되돌릴 수 없는 일 직전에 (7편)

[되돌릴 수 없는 작업]을 하기 전에, 이 지시가 전제한 상태가 지금도 맞는지 다시 확인해줘.

• 대상이 그때와 같은 대상인지 (숫자·시각 등 확인 가능한 값으로)

• 값이 없거나 확인이 안 되면 집행하지 말고 나에게 물어봐

• 값이 맞아도 "해도 된다"는 뜻은 아니야. 검토가 끝났는지는 따로 확인해줘