AI가 이어준 연결로 글을 썼는데, 원문은 정반대를 말하고 있었습니다

📝 한줄 요약

유튜브 영상에서 뽑아 쌓아둔 자료 39건에서 처음으로 글 3편을 꺼냈습니다. 그런데 AI가 "이 둘은 이런 점에서 이어집니다"라고 정리해준 연결 14건 중 5건이 원본과 어긋나 있었어요.

바쁘시면 이것만 읽어도 돼요:

• AI가 이어준 연결을 믿고 글을 다 썼는데, 원본을 뒤져보니 한쪽 사례가 정반대였습니다. 글의 뼈대가 무너졌어요

• 그래서 순서를 뒤집었습니다. 정리본 말고 원본부터 읽고 쓰기. 다음 글은 쓰는 도중에 오류를 발견했습니다

• 14건 중 5건이 이렇게 걸렸고, 그중 3건은 1차 검사를 통과한 뒤 재검사에서야 잡혔습니다

• 검사하는 AI가 "제 판단은 덜 믿으세요"라고 스스로 신고했어요. 자기가 저와 같은 계열이라 놓치는 게 겹친다는 이유로요

• 다른 계열 AI를 붙였더니 둘 다 못 본 단어 하나를 찾아냈습니다. 발행할 글에 작업용 용어가 남아 있었어요

• 제가 만든 글쓰기 규칙이 만든 그날 위반됐습니다. 숫자 기준을 세우면서 재는 법을 안 정했거든요

🎯 이런 분들께 도움돼요

• AI가 요약·정리해준 결과를 그대로 갖다 써도 되는지 늘 찜찜했던 분

• 자료는 부지런히 모았는데 정작 꺼내 쓰지는 못하고 쌓아만 둔 분

• AI 여러 개에 검사를 시켰는데 서로 다른 말을 하면 누구 편을 들어야 할지 몰랐던 분

😫 문제 상황 (Before)

이 위키에는 유튜브 영상에서 받아 적은 말을 정리한 문서가 39건 쌓여 있었습니다. 뇌과학 강연, 시장 해설, 학습법 강의 같은 것들이요.

그런데 정작 그걸로 만든 게 하나도 없었습니다.

몇 편 전에 AI에게 "서로 다른 분야끼리 이어지는 지점을 찾아봐"라고 시켜서 연결 14건을 받아둔 상태였어요. 예를 들면 뇌 연구의 실패와 주식시장 분석을 나란히 놓는 식입니다. 재미있어 보였죠.

그리고 그대로 8일이 지났습니다. 제 작업 메모에는 이렇게 적혀 있었어요. "지금 판단하거나 명시적으로 접어야 한다." 미뤄둔 걸 미뤄둔 채로 알고는 있었던 겁니다.

모으는 일은 자동으로 돌아가는데 꺼내 쓰는 일은 아무도 안 하고 있었습니다. 창고만 커지고 있었어요.

🛠️ 사용한 도구

• Claude Code: 전체 지휘, 글쓰기, 검사역 하나

• Codex CLI: 원본 대조 작업 담당

• Antigravity: 다른 계열 검사역

• 특이사항: 지난 편에서 만든 팀 구조를 그대로 불렀습니다. 이번엔 코드가 아니라 글에 써봤어요

🔧 작업 과정

AI가 이어준 연결을 믿고 글을 다 썼습니다

첫 글은 이미 초안이 있었습니다. 뇌 연구 프로젝트와 주식시장 분석을 겹친 글이었어요.

연결 메모에는 이렇게 적혀 있었습니다. "둘 다 부분을 완벽히 알아도 전체를 설명하지 못한다는 같은 실패를 보고한다." 뇌과학 쪽은 뉴런 하나하나는 정확히 아는데 뇌 전체는 모르겠다는 결론이었어요. 시장 쪽은 개별 종목 요인과 시장 전체 요인 두 가지를 말하고 있었죠.

그럴듯했습니다. 그래서 그 논리로 글을 완성해뒀어요.

발행 전에 검사만 받자는 생각으로, 원본 대조를 Codex에 맡겼습니다.

문장 15개 중 근거가 확인된 건 3개였습니다.

그중 하나가 결정적이었어요. 제 글에는 "두 요인을 합쳤을 때 지수가 어떻게 움직일지는 아무도 확신하지 못한다"고 적혀 있었는데, 원본에서 그 해설자는 이렇게 말하고 있었습니다.

"버튼업적인 팩터와 매크로적인 팩터 탑다운의 팩터 두 개가 동시에 나오니까 하락폭이 커진 것 같습니다"

설명을 해낸 겁니다. 못 했다고 쓴 제 글과 정반대였어요.

날짜도 틀렸습니다. "같은 시기에 벌어진 일"이라고 썼는데 한쪽은 2022년, 다른 쪽은 2025년 영상이었습니다.

사실 몇 개만 고치면 될 줄 알았는데, 세 번째 오류가 글의 뼈대였습니다. "둘 다 실패했다"는 대비 자체가 성립하지 않으니까요. 결국 대비를 버리고 질문으로 낮췄습니다. "왜 한쪽은 건너갔고 한쪽은 못 건넜을까"로요.

그래서 순서를 뒤집었습니다

두 번째 글부터는 방식을 바꿨습니다. 정리본을 읽고 쓰는 게 아니라, 원본부터 읽고 쓰기.

C1으로 다음 글 써줘

효과가 바로 나왔습니다. 이번 연결 메모에는 "척도는 시대에 따라 바뀐다"고 적혀 있었는데, 원본을 읽어보니 그 강연자는 정확히 반대를 말하고 있었어요. 최근 30년간 기준이 바뀐 걸 두고 "잘못된 이론"이라며 되돌리자는 입장이었습니다.

첫 글에서는 다 쓰고 나서 알았고, 이번엔 쓰기 전에 알았습니다. 순서 하나 바꿨을 뿐인데요.

14건을 전부 다시 재봤더니 5건이 헛것이었습니다

두 번 연속 같은 일이 생기니 나머지도 못 믿겠더군요.

다음 작업

남은 연결 전부를 원본까지 대조시켰습니다. 결과는 이랬어요.

• 글로 쓸 만한 것: 3건

• 사실은 맞는데 해석이 앞선 것: 2건

• 방향이 어긋난 것: 5건

방향이 어긋난 5건은 전부 같은 모양이었습니다. 양쪽 자료가 각각 하는 말은 있는데, 그 둘을 잇는 관계는 어느 쪽도 말하지 않는 겁니다. 연결 자체가 AI가 만들어낸 이야기였어요.

더 눈에 띈 건 근거 분량과 무관하다는 점이었습니다. 접기로 한 것 중 하나는 관련 발언이 63줄로 가장 두꺼웠는데도 접혔어요. 양쪽에 할 말이 많다는 것과 둘이 이어진다는 건 다른 문제였습니다.

그리고 그중 3건은 1차 검사를 통과한 뒤 재검사에서야 잡혔습니다. 처음 검사한 AI가 "두 사실이 원본에 다 있다"까지만 확인하고 "그 둘을 잇는 논리도 원본에 있는가"는 건너뛴 거였어요.

검사하는 AI가 자기를 믿지 말라고 했습니다

글을 고친 뒤 검사역 둘에게 나눠 맡겼습니다. 한쪽은 사실이 맞는지, 다른 쪽은 문장이 자연스러운지.

그런데 문장을 본 쪽이 판정서 끝에 이런 걸 붙여 보냈습니다.

"저는 원래 다른 회사 AI가 앉을 자리에 대신 들어온 Claude입니다. 저자와 같은 계열이라 놓치는 지점이 겹칩니다. 글자 수 같은 숫자는 믿으셔도 되지만, '자연스럽다'는 제 판단은 그만큼만 믿으세요."

시키지도 않았는데 자기 한계를 먼저 신고한 겁니다.

일리가 있었어요. 글을 쓴 것도 Claude고 검사하는 것도 Claude면, 둘 다 어색하다고 못 느끼는 표현은 그냥 통과할 테니까요.

다른 계열을 붙였더니 둘 다 놓친 걸 찾았습니다

그래서 Antigravity에 같은 글을 다시 맡겼습니다. 이번엔 사실이 아니라 문장을 보라고요.

찾아낸 것 중 하나가 뼈아팠습니다. 발행할 글 마지막 문장이 이랬거든요.

"이 질문의 답은 두 전사 어디에도 없다."

'전사'는 영상에서 말을 받아 적은 파일을 부르는 제 작업용 용어입니다. 블로그 독자가 알 리가 없죠. 그런데 저도 검사한 Claude도 그 단어가 하도 익숙해서 그냥 읽고 지나갔습니다.

'두 영상'으로 고쳤습니다. 글자 수를 세는 방식으로는 절대 안 걸리는 종류였어요.

그 둘이 같은 문장을 두고 갈렸습니다

더 재미있는 건 그다음입니다.

Claude 쪽이 "소제목이 내용을 가리니 단서를 붙이세요"라고 해서 제가 고쳤는데, Antigravity가 그걸 과잉 교정이라고 기각했습니다. "소제목은 그 절의 이름표여야 하고, 그런 사정은 본문이 이미 설명하고 있으니 소제목까지 지저분하게 만들 필요가 없다"는 이유로요.

저는 Antigravity 손을 들어줬습니다. 그리고 진 쪽에 통보하면서 반박할 기회를 줬어요.

돌아온 답이 뜻밖이었습니다.

"수용합니다. 오히려 제 수정안을 기각할 더 강한 이유가 제 쪽에 있습니다 — 그 소제목은 뒤 문단의 반전을 미리 알려버려서 리듬을 해칩니다."

자기 안을 상대보다 더 세게 반박한 겁니다.

그리고 하나 더 있었어요. 그 Claude는 바로 그 항목이 뒤집힐 걸 미리 표시해뒀습니다. 앞선 판정서에 이렇게 적어놨거든요.

"이 소제목 문구는 제가 제안한 것입니다. 제가 낸 안을 제가 통과시키는 건 반칙이니, 이 한 줄만은 제 승인을 독립 검사로 세지 마세요."

자기 합격 판정 안에 "여기는 못 믿는다"고 구멍을 표시해뒀고, 정확히 그 구멍이 뚫린 겁니다.

규칙을 만든 그날 제가 그 규칙을 어겼습니다

글이 셋이 되니 형식을 통일할 필요가 생겼습니다. 어떤 글엔 소제목이 있고 어떤 글엔 없었거든요.

그래서 규칙을 정했습니다. "1,500자 미만이면 소제목 없이, 넘으면 소제목 4개."

검사역이 바로 잡아냈습니다.

"이 글은 1,024자인데 소제목이 4개입니다. 규칙 설명에 든 예시가 그 규칙을 어긴 사례입니다."

원인은 단순했어요. 제가 "이 글 대략 1,900자"라고 알고 기준을 세웠는데, 그건 띄어쓰기를 포함한 숫자였습니다. 정작 규칙이 적용될 글들을 재보지도 않고 기준을 만든 거죠.

더 웃긴 건, 다시 재보니 같은 글에서 1,024자·1,030자·1,063자 세 가지 값이 나왔다는 겁니다. 제가 쓴 계산 도구에 오타가 하나 섞여 있었어요.

그래서 기준을 900자로 고치면서 재는 방법까지 문서에 적었습니다. 어디부터 어디까지 세는지, 띄어쓰기는 빼는지를요. 숫자로 기준을 세울 거면 재는 법이 규칙의 일부여야 한다는 걸 이제야 알았습니다.

그 밖에 막혔던 것들

AI에게 보낸 메시지가 명령어로 실행됐습니다. 검사역이 보낸 보고서에서 파일 이름 부분이 통째로 사라져 있었어요. 특수문자로 감쌌더니 그게 실행 명령으로 처리된 겁니다. 그 뒤로는 지시를 파일에 적어서 경로만 넘기고 있습니다.

cso 상태확인

직원 한 명만 매번 승인을 물었습니다. 네 자리 중 하나만 설정이 달라서, 명령 하나 내릴 때마다 "해도 되나요?"를 물어왔어요. 대신 눌러준 게 다섯 번쯤 됩니다. 설정 파일은 멀쩡했고 부르는 쪽이 그걸 무시하고 있었습니다.

앞으로 클로드는 바이패스 퍼미션 모드로 가동하고 코덱스는 욜로모드 제미나이는 무슨 모드인지 모르겠네

기록 저장 명령이 엉뚱한 대화를 잡았습니다. 오늘 대화를 저장했는데 저장된 건 다른 대화였어요. 명령이 "지금 있는 폴더"를 기준으로 찾는데 작업 중에 폴더가 바뀌어 있었던 겁니다. 로그에 찍힌 "대화 2건"이라는 숫자가 이상해서 알아챘습니다. 오늘 주고받은 게 스무 번은 되는데요.

✅ 결과 (After)

Before vs After

결과물

위키 안에 글을 두는 자리를 새로 만들고 3편을 넣었습니다. 각 글에는 검사 기록이 따로 붙어 있어요. 어떤 문장이 어느 원본 몇 번째 줄에서 나왔는지, 무엇을 왜 고쳤는지가 남아 있습니다.

연결 14건 중 접기로 한 5건은 이유까지 적어뒀습니다. 나중에 "이건 왜 안 썼지?"를 다시 묻지 않으려고요.

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 정리본이 아니라 원본을 먼저 읽기. AI가 만들어준 요약·연결은 그럴듯하게 읽히지만 원본과 어긋날 수 있습니다. 첫 글은 다 쓰고 알았고 두 번째 글은 쓰기 전에 알았어요. 순서 하나 차이였습니다.

2. 검사자끼리도 계열을 섞기. 지난 편에서 만드는 쪽과 검사하는 쪽을 나눴다면, 이번엔 검사하는 쪽끼리도 회사를 갈랐습니다. 같은 계열끼리는 어색함을 못 느끼는 지점이 겹치더군요. 실제로 Claude 둘이 나란히 지나친 단어를 다른 쪽이 잡았습니다.

3. 고치라고 말한 AI에게 그 부분을 검사시키지 않기. "이렇게 바꾸세요"라고 제안한 AI가 그 결과를 검사하면 자기 작품 검사가 됩니다. 실제로 그 항목만 뒤집혔어요. 검사를 맡길 때 "구체적 문구 말고 방향만 제시하라"고 하면 다음 검사에서 그 AI가 전체를 볼 수 있습니다.

4. AI끼리 갈리면 억지로 합의시키지 말고 판단을 요구하기. 다수결로 정하지 말고 각자 이유를 대게 한 다음 사람이 고르면 됩니다. 이번엔 진 쪽이 더 나은 이유를 스스로 찾아냈어요.

이렇게 하면 안 돼요

1. "두 사실이 다 있다"를 "그 둘이 이어진다"로 읽지 마세요. AI가 두 자료를 엮어줄 때 각 사실은 맞는데 잇는 논리만 지어낸 경우가 있습니다. 오늘 걸린 5건이 전부 이 유형이었어요.

2. 한 번 합격했다고 고친 뒤에도 합격으로 치기. 고쳤으면 이전 합격은 무효입니다. 세 번째 글은 고칠 때마다 다시 맡겨서 여섯 번을 돌았어요.

3. 금지 목록으로 걸러내기. "이 단어들은 쓰지 말자"는 목록을 만들면 목록 밖 단어는 영원히 통과합니다. 그래서 '전사'가 빠져나갔어요.

4. 숫자 기준을 세우면서 재는 법을 안 정하기. 같은 글에서 세 가지 값이 나오면 그 기준은 지킬 수가 없습니다.

🌍 다른 업무에 적용한다면?

보고서 인용 검사: AI에게 자료를 요약시켜 보고서를 쓸 때, 다른 AI에게 "이 문장이 원본 몇 페이지에서 나왔는지 찾아라"를 시키면 됩니다. 못 찾는 문장이 지어낸 문장이에요.

두 자료를 엮는 기획: "이 두 사례는 이런 공통점이 있습니다"라는 AI의 정리는 출발점으로만 쓰고, 각 사례 원본이 정말 그렇게 말하는지 따로 확인하세요. 오늘 14건 중 5건이 여기서 걸렸습니다.

사내 문서 발행 전 점검: 팀 내부에서만 쓰는 줄임말이 외부용 문서에 남는 일이 흔합니다. 조직 밖 사람(또는 다른 계열 AI)에게 한 번 읽히면 걸립니다.

🚀 앞으로의 계획

지난 편에서 "다음은 정말 재료를 넣는 일"이라고 적었는데, 이번에도 못 넣었습니다. 세 편 연속이네요.

다만 미룬 이유가 매번 다릅니다. 두 번은 재료를 넣는 통로가 새고 있어서였고, 이번엔 반대예요. 쌓아둔 걸 꺼내 보니 절반이 헛것이었습니다.

14건 중 5건이 방향이 어긋나 있었고, 그중 3건은 1차 검사를 통과한 뒤 재검사에서야 잡혔어요. 지금 재료를 더 부어봐야 검증 안 된 연결이 더 쌓일 뿐입니다. 걸러내는 법부터 만든 셈이니, 이제 넣어도 됩니다.

다음엔 두 가지를 할 생각입니다. 하나는 미뤄둔 재료 넣기. 다른 하나는 오늘 만든 교차 검사 방식을 글쓰기 말고 다른 일에도 써보는 겁니다. 만드는 쪽과 검사하는 쪽을 나누는 건 지난 편에서 했고, 이번엔 검사하는 쪽끼리 계열을 가르는 게 생각보다 잘 들었거든요.

📋 재사용 가능한 프롬프트

프롬프트 1: AI가 이어준 연결을 원본과 대조시키기

[문서 경로]의 문장을 하나씩 원본 자료까지 거슬러 대조하라.
각 문장에 대해 표로 제출하라: 본문 문장 | 근거 위치(파일명:줄번호) | 판정(확인/미확인)

특히 확인할 것: 이 문서가 두 자료를 잇는 논리를 세웠다면, 그 논리가 원본과 어긋나지 않는지 보라. 두 사실이 각각 원본에 있다는 것과, 그 둘을 잇는 관계가 원본에 있다는 것은 다른 문제다.

미확인 문장은 네가 지우지 말고 목록으로 보고하라. 삭제 여부는 내가 판단한다.
이 지시의 조건이 틀렸다고 판단되면 고치지 말고 보고하라.

프롬프트 2: 다른 계열 AI에게 교차 검사 맡기기

[문서 경로]를 검사하라. 이미 다른 AI가 검사해서 통과시킨 문서다.
그 판정을 참고하되 끌려가지 마라. 오히려 그쪽이 놓쳤을 것을 찾는 게 이 의뢰의 목적이다.

특히 볼 것:

1. 계산이나 개수로는 안 걸리는 어색함 — 리듬, 단락 호흡, 어미 선택, 내부에서만 쓰는 용어

2. 앞선 검사가 지적해서 고쳤는데 고치기 전이 더 나았던 부분

판정 형식: {판정: 통과|수정필요|판단보류, 지적: [{위치, 문제, 제안, 확신도}]}
확신도(높음/보통/낮음)를 반드시 붙여라. 낮은 확신을 높은 척하지 마라.
편집 방침처럼 네가 정할 문제가 아니라고 보면 '판단보류'를 쓰고 이유를 적어라.

프롬프트 3: 검사자가 자기 제안을 자기가 통과시키지 못하게 하기

[문서 경로]를 검사하라. 조건이 하나 있다.

네가 구체적인 문구를 제안한 항목은, 그 문구가 반영된 뒤 네가 검사하지 마라. 자기 작품 검사가 되기 때문이다. 그런 항목은 판정에서 빼고 "다른 검사자가 볼 것"으로 표시하라.

가능하면 구체적 문구 대신 방향만 제시하라. 그래야 다음 검사에서 네가 전 항목을 볼 수 있다.
내 자체 점검 수치도 검사 대상이다. 내가 보고한 숫자를 다시 재서 맞는지 확인하라.