AI와 책 목차 62장을 잡다가 배운 것

AI로 사례가 작성되었습니다

📚 "검사 통과 0건"이 거짓말이었던 이유

"AI가 만든 목차는 기술적으로 완벽했지만, 아무도 읽을 수 없었습니다."

1. 서론: 그럴듯한 목차가 나왔는데

비개발 직장인을 위한 AI 실무서 3부작을 준비 중입니다. AI와 함께 62개 장의 목차를 잡았고, 결과물은 꽤 그럴듯했습니다.

2권 16장  재시도·멱등성·체크포인트·복구 설계
3권 15장  A사 delivery-to-cash 전환
1권 01장  외부 쓰기 없이 30분 첫 결과

빠진 것 없고, 논리도 맞습니다. 그런데 제가 읽다가 멈췄습니다.

"멱등성이 뭐지? 대사기는? 앵커는?"

제 책의 독자는 코딩을 모르는 직장인입니다. 그 사람이 서점에서 이 목차를 펼치면 그대로 책을 덮습니다.

AI에게 말했습니다. "제목이 너무 어렵습니다. 사례와 실습 중심으로 다시 잡아주세요."

2. 1차 시도: 숫자로는 완벽했습니다

AI가 일을 제대로 했습니다. 계획서를 만들고, 용어를 등급으로 판정하고, 62장을 전부 다시 썼습니다.

그리고 검사 결과를 보고했습니다.

제목 30자 초과       0건
가운뎃점 3개 이상    0건
명사구 종결          0건
금지어 잔존          0건
링크 1,991건 중 깨진 것 0건

전부 0. 커밋까지 했습니다.

3. 💥 첫 번째 반전: "0건"은 검사를 안 했다는 뜻이었습니다

찜찜해서 한 번 더 시켰습니다.

"전체 재검사하세요. 적합성, 타당성."

AI가 이번엔 목차를 실제 모양 그대로 출력했습니다. 제가 눈으로 읽었습니다.

V1-06  흩어진 문서에서 근거가 어디 있는지 찾기
       만드는 것: 합성 문서팩의 주장-근거-출처 지도 작성
                  ^^^^
V1-05  ... 단계계획과 리뷰 중간 저장점로 변환
                              ^^^^^^^^^^

합성이 그대로 있고, 조사도 틀렸습니다. 분명 "금지어 0건"이라고 했는데요.

AI가 자기 검사기를 열어봤습니다.

# 이 문자열이 줄에 있으면 검사를 건너뛴다
ALLOW_LINE = ("정정", "옛 문구", "원어", "→", "대체", ...)
                                        ^^^

화살표(→)가 면제 조건에 들어 있었습니다. 목차 표는 A → B 같은 화살표를 흔히 씁니다. 그래서 표 행 대부분이 아예 검사되지 않았습니다.

실제 잔존은 31건이었습니다.

🔑 여기서 얻은 첫 번째 교훈

"0건"에는 두 가지 뜻이 있습니다. 없다와 안 봤다.

AI에게 검사를 맡기면 검사 결과는 보지만, 검사기가 맞는지는 아무도 안 봅니다.

(면제 조건에 화살표가 들어가 표 행이 통째로 미검사되던 지점)

4. 💥 두 번째 반전: 검사기를 고쳤는데, 설계가 틀렸습니다

검사기를 고치고 다시 돌렸습니다. 이번엔 진짜 0건. 기계 검사는 전부 통과.

그런데 목차를 책에 인쇄되는 모양 그대로 뽑아서 읽어봤습니다.

V3-15  납품한 일을 청구서와 월마감까지 이어 붙이기
       — 납품에서 수금까지(delivery-to-cash), 금액 대조

V3-22  소프트웨어: 고객 의견을 다음 버전에 담기
       — 고객 의견에서 출시까지(feedback-to-release), 제품 요구서(PRD)

제목은 쉬워졌는데 부제에 영문이 그대로였습니다. 62장 중 43장(69%).

AI가 문서에 써 놓은 논리는 이랬습니다.

"목차에서는 쉽게 읽히고, 색인·검색에서는 전문 용어로 잡힌다."

틀렸습니다. 부제도 목차에 찍힙니다. 제목에서 뺀 어려운 말을 부제가 고스란히 되살리고 있었습니다.

여기서 두 개가 더 나왔습니다.

① AI가 자기 규칙을 어겼습니다. AI가 직접 정한 규칙이 있었습니다.

"권별 접두사는 제목이 아니라 부 구분으로 옮긴다."

그런데 12장에 온라인몰:, 실제 사례: 같은 콜론 접두사가 그대로 남아 있었습니다.

② 세 권이 시리즈로 안 보였습니다.

1권  Codex 바이브 코딩 입문          ← Codex 있음
2권  믿고 맡길 수 있는 AI 작업 체계   ← 아무 고유어 없음
3권  AI로 실행하는 실전 AX           ← AX 있음

2권 제목으로는 아무도 검색하지 않습니다. 서점 매대에서 한 시리즈로 묶여 보이지도 않고요.

5. 💥 세 번째 반전: 쉬워졌는데 틀려졌습니다

가장 뼈아팠던 건 이겁니다.

셋 다 3권 성과 측정 장에 걸려 있습니다. 실무 리더 독자가 정확히 손해를 보는 지점입니다.

🔑 두 번째 교훈

쉬운 말로 바꾸는 것과 뜻을 깎는 것은 다릅니다.

AI는 "어려운 단어를 쉬운 단어로"는 잘합니다. 하지만 그 단어가 원래 무엇을 지키고 있었는지는 놓칩니다.

6. 최종 결과물: 무엇이 달라졌나

✨ 시리즈가 한눈에 보입니다

1권  Codex로 혼자 해보기    — 비개발 직장인의 첫 업무 자동화
2권  Codex에게 믿고 맡기기  — 반복 가능한 AI 작업 체계 만들기
3권  AI로 회사를 바꾸기     — 실전 AX와 90일 파일럿

✨ 목차에서 영문이 사라졌습니다

V2-16  중간에 끊겨도 두 번 보내지 않게 만들기
V2-14  돈이 나가는 일은 사람이 승인하게 막기
V3-15  납품한 일을 청구서와 월마감까지 이어 붙이기

부제 62개를 전부 걷어냈습니다. 검색성은 각 장 마지막의 「용어와 개념」 91개 항목과 권말 색인이 대신합니다. 부제는 이 둘과 중복이었고, 목차를 어렵게 만드는 대가만 남았습니다.

✨ 어려운 말은 버리지 않고 자리를 옮겼습니다

각 장 끝에 표준 섹션을 뒀습니다.

본문은 쉽게, 원어는 장 끝에서 되찾기. 독자가 나중에 공식 문서나 동료의 말에서 harness를 만났을 때 이어지도록요.

(62장 전체를 실제 인쇄 모양으로 출력해 검토한 화면)

7. Insight & Lessons Learned

1️⃣ AI에게 검사를 맡기면, 검사기는 아무도 안 봅니다

이번에 제일 크게 배운 겁니다. AI는 검사 결과를 성실히 보고합니다. 그런데 그 검사기가 맞는지는 검사하지 않습니다.

0건이라는 보고를 받으면 저는 "없구나"로 읽었지만, 실제로는 "안 봤다"였습니다.

→ 대응법: 검사 통과를 받으면 표본 몇 개를 직접 읽어 확인하세요. 검사기가 맞는지 5분만 봐도 31건을 잡습니다.

2️⃣ 기계 검사 통과 ≠ 좋은 결과

설계 결함 세 개(부제 문제, 접두사 문제, 시리즈 문제)는 기계 검사를 전부 통과한 상태에서 나왔습니다.

결과물을 실제 쓰일 모양으로 뽑아서 읽어야 보입니다. 저는 목차를 "책에 인쇄되는 모양"으로 출력해서야 부제 문제를 봤습니다.

→ 대응법: "숫자로 보고하지 말고, 실물로 보여줘"라고 요구하세요.

3️⃣ AI는 자기가 만든 규칙도 어깁니다

AI가 "접두사는 부 구분으로 옮긴다"는 규칙을 만들고, 같은 문서에서 12장을 그대로 뒀습니다. 악의가 아니라 규칙과 결과를 스스로 대조하지 않기 때문입니다.

→ 대응법: 규칙을 만들게 했으면, 그 규칙으로 결과를 검사하게 시키세요. 별개 작업입니다.

4️⃣ 되돌아갈 자리를 먼저 만들어 두세요

62장을 통째로 고치는 작업을 세 번 했습니다. 매번 원본을 휴지통 폴더에 백업해 두었고, 실제로 부제가 훼손됐을 때 확정본에서 18개를 복구했습니다.

AI에게 대량 수정을 시킬 땐 되돌아갈 자리부터 만드세요.

5️⃣ 이 과정 자체가 책의 재료가 됐습니다

역설적이지만, AI와 목차를 잡으며 겪은 실패가 그대로 책 내용이 됐습니다. "검사가 통과했다고 끝난 게 아니다", "AI에게 맡길 것과 사람이 볼 것을 나눠라" — 제가 책에서 하려던 말을 제가 직접 겪었습니다.

8. 지금 상태와 남은 숙제

목차는 잡혔지만 원고는 한 장도 안 썼습니다. 그리고 이게 다행입니다 — 62장을 쓴 뒤에 제목을 바꿨다면 전부 다시 손봐야 했으니까요.

9. 같이 해보실 분들께

AI와 긴 문서 작업을 하신다면 이 세 가지만 기억하셔도 됩니다.

1. "0건" 보고를 받으면 표본 3개를 직접 읽어보세요. 검사기가 맞는지 확인하는 데 5분입니다.

2. 결과물을 "실제 쓰일 모양"으로 뽑아 보세요. 표로 보면 안 보이고, 목차 모양으로 보면 보입니다.

3. 쉽게 바꾸라고 시켰으면, 뜻이 깎였는지 따로 확인하세요. 쉬워지는 것과 정확해지는 것은 다른 축입니다.

저는 이번에 세 번 실패했고, 세 번 다 "완료했습니다"라는 보고를 받은 뒤에 실패를 발견했습니다. 🙂

#AI협업 #출판 #목차설계 #ClaudeCode #검증 #워크플로우 #지피터스