지난주에 올린 공동 플레이북에 '하네스'를 걸어보기 기획안의 후속편입니다. "주말에 실제로 돌려보고 결과로 채우겠다"고 했던 그 실험을, 이번엔 진짜로 돌렸습니다. 특히 기획안의 실험 B(여러 저자의 초고를 통합할 때 게이트 걸기) 를 끝까지 밀어붙여, 6명이 따로 쓴 플레이북을 하나의 Word 문서로 합치는 데까지 갔습니다. 이번 글은 그 전 과정의 기록입니다.
실험 목표와 이유
지난 기획안에서 제 진짜 숙제는 "한 꼭지를 잘 쓰는 것"이 아니라 여러 저자가 따로 쓴 꼭지들을 하나로 합치는 것이라고 적었습니다. 이번 주에 그 숙제가 실제로 떨어졌습니다. HAT Lab 6기 2조 6명이 각자 목차를 쪼개 쓴 플레이북 초고가 PDF 한 권(38페이지)으로 모였고, 이걸 출판용 단일 문서로 다듬어야 했습니다.
문제는 기획안에서 우려했던 그대로였습니다. 6명이 따로 썼으니 같은 개념을 저마다 다르게 불렀고("AI 에이전트" vs "에이전트" vs "봇"), 실험 기간을 한 장에서는 5주, 다른 장에서는 6주로 적었고, 장 제목 형식도 제각각이었습니다. 무엇보다 "통합해줘"라고 AI에게 던지는 순간 AI가 신나서 중복을 임의로 지우고 저자 간 입장 차이를 자기 마음대로 한쪽으로 정리해버린다는 것 — 이게 가장 두려웠습니다. 원저자들은 합의한 적도 없는데 말이죠.
그래서 이번 실험의 가설을 이렇게 잡았습니다.
통합 작업에 "진단만 하고 결정은 사람이 한다"는 하네스를 걸면, AI가 판단을 가로채지 않고 사람이 협의할 거리만 정확히 짚어주는가? 그리고 사람이 내린 결정만 반영해 최종 문서까지 안전하게 갈 수 있는가?
실험 진행 방법
도구는 이번에도 단순합니다. claude.ai 채팅창 하나로 진행했습니다. 다만 마지막 문서 추출 단계에서만 파일 생성 기능을 썼습니다. 전체 흐름은 세 단계였습니다.
진단 — 하네스를 걸어 충돌 지점만 표로 받기
결정 — 표를 보고 제가(공동 저자를 대표해) 항목별로 결정 내리기
반영 — 제가 내린 결정만 적용해 Word로 추출하기
1단계: 진단 하네스 활용
기획안에서 만든 진단 하네스를 이번엔 실전 데이터로 돌렸습니다. 출판의 목적과 취합할 자료를 주고, 하네스 프롬프트를 어떻게 업데이트하면 좋을지도 Claude에게 물었습니다. 그 과정에서 규칙을 하나 추가했습니다 — "한 충돌은 가장 적합한 표 하나에만 올린다." 이 한 줄이 진단 결과를 확 정리해줬습니다.
최종적으로 쓴 하네스 블록은 이렇습니다.
사본
# 플레이북 통합 전 충돌 진단 하네스 (강제 규율)
## 절대 규칙
너는 통합하지 않는다. 합치지 않는다. 고쳐 쓰지 않는다.
임무는 충돌을 '진단'해 표로 드러내는 것뿐이다.
무엇을 지울지/남길지는 공동 저자가 정한다.
→ 임의로 문장을 합치거나 삭제하면 규칙 위반이다.
## 분류 규칙
한 충돌은 가장 적합한 표 하나에만 올린다.
여러 표에 걸쳐 보여도 중복 기재하지 않는다.
## 게이트 0: 스코프 선언
통합 대상 장을 먼저 선언한다. 대상에서 빠진 장을 가리키는
참조가 나오면, 충돌이 아니라 표 E에 '외부 참조'로만 기록한다.
## 게이트 1: 6종 진단 (각각 표로)
- 표 A 용어 충돌: 같은 것을 다르게 부르거나 철자가 다른 경우
- 표 B-1 내용 중복: 같은 일화·설명이 두 곳 이상. (+반복유형: 의도적 후렴/비의도적/보류)
- 표 B-2 사실 불일치: 같은 사실의 수치·날짜·고유명사·점수가 어긋남
- 표 C 입장 충돌: 독자가 "저자들이 서로 반대로 말한다"고 오해할 지점만
- 표 D 형식 불일치: 제목 단계, 평어/구어, 이모지, 영어 병기, 번호 체계 등
- 표 E 참조 정합성: 장 간 상호참조·잘못된 장 번호·깨진 참조
## 게이트 2: 보존 확인 (출력 규칙)
- 원문 인용은 짧게, 위치는 "N장 N.N절"로 표기
- 어느 표에도 "이렇게 고치면/합치면"을 쓰지 않는다
- 판단 필요 항목은 [저자 협의 필요], 사실 불일치는 [정본 확정 필요] 태그
- 각 표 끝에 "원문 한 글자도 수정 안 됨" 명시쓰는 법은 기획안과 같습니다. 위 블록을 붙이고, 그 아래에 통합 대상 원고를 통째로 붙여넣은 뒤 "진단 모드로 진행해줘. 먼저 게이트 0(스코프)부터"라고 요청했습니다.
진단 결과: 충돌 지도 6종
AI는 통합을 하지 않고, 충돌만 6개 표로 정리해 돌려줬습니다. 핵심만 옮기면 이렇습니다.
표 A (용어 충돌): AI 에이전트/에이전트/봇, 사일로드/Siloed/Silo, ChatGPT/챗GPT/GPT, 솔로프리너/솔로프러너(철자), 노션/Notion 등 10개 묶음.
표 B-2 (사실 불일치) — 가장 시급: 실험 기간이 3장에서는 "6주", 5·6·8장에서는 "5주"로 어긋남. [정본 확정 필요] 태그가 붙음.
표 D (형식 불일치): 장 제목 구분자(마침표 vs 가운뎃점) 혼용, 7장 제목이 두 줄 연속으로 중복, 6장 안의 세 절 번호가 전부 "1."로 매겨진 오류.
표 E (참조 정합성): 1장 '이 책을 읽는 방법'이 가리키는 장 번호 3건이 실제 장 배치와 어긋남(예: "지금 해보기는 4장" → 실제 6장).
여기서 기획안에서 했던 예측이 정확히 맞았습니다. 표 C(입장 충돌) 가 가장 다루기 조심스러운 표였는데, AI는 한쪽으로 정리하지 않고 "독자가 모순으로 오해할 수 있는 지점"으로만 남겨뒀습니다. 의도적으로 넣은 양가성("연결되어야 하는가? — 꼭 그럴 필요는 없다")은 충돌로 잡지 않고 규칙대로 제외했고요. AI가 판단을 가로채지 않은 겁니다.
2단계: 결정 과정
여기가 하네스의 핵심입니다. AI는 진단만 했고, 결정은 제가 했습니다. 표를 항목별로 훑으며 18개 결정을 내렸습니다. 예를 들면 이런 식입니다.
1. AI 에이전트로 통일
6. 솔로프리너로 통일 (철자)
7. ChatGPT로 통일
11. 5주 → 6주로 통일
12. "1장. 서문" (마침표)로 통일
13. 7장 중복 제목 1개 삭제
특히 기간을 5주/6주 중 무엇으로 정할지처럼, 실험에 참여한 사람만 내릴 수 있는 결정이 분명히 있었습니다. AI에게 "알아서 통일해"라고 맡겼다면 둘 중 아무거나 골랐을 거고, 그건 저자들이 합의한 적 없는 결정이 됩니다. 진단/결정을 분리한 효과가 여기서 드러났습니다.
3단계: 반영 및 문서 추출
마지막으로, 제가 내린 18개 결정만 적용해 단일 Word 문서로 추출하게 했습니다. 여기서도 작은 하네스를 하나 더 걸었습니다 — "내가 결정한 항목만 반영하고, 결정하지 않은 문장은 원문을 그대로 둔다." 통합 단계에서 AI가 욕심을 내 손대는 걸 막기 위해서입니다.
추출 후에는 실제로 결정이 반영됐는지를 기계적으로 점검했습니다. "5주"가 본문에 몇 번 남았는지, "솔로프러너"(틀린 철자)가 0건인지, 7장 제목이 1번만 나오는지 등을 세어 확인했고, 결과는 의도대로였습니다(5주 잔존 0건, 6주로 통일 / 틀린 철자 0건 / 7장 제목 1회). 이 "출력 직전 자가 점검"은 기획안의 게이트 4와 같은 발상입니다.
실험 결과와 배운 점
기획안에서는 "예상"으로 남겨뒀던 칸을, 이번엔 실제 결과로 채웁니다.
배운 점 1. "통합하지 마, 진단만 해"가 정말로 작동했다. 가장 걱정했던 건 AI가 중복을 임의 로 지우거나 입장 충돌을 한쪽으로 밀어버리는 것이었는데, 절대 규칙을 건 하네스에서는 그런 일이 없었습니다. AI는 "여기와 여기가 겹친다"까지만 말하고 멈췄습니다. 덕분에 표가 그대로 협의 안건이 됐습니다.
배운 점 2. 진단과 결정을 분리하니, 사람이 내려야 할 결정이 선명해졌다. 6주/5주 같은 항목은 효율의 문제가 아니라 사실 확정의 문제였습니다. 진단 표가 [확정 필요] 태그로 이걸 분리해준 덕에, 제가 무엇을 결정해야 하는지가 목록으로 떨어졌습니다. 18개 결정이 그렇게 나왔습니다.
배운 점 3. "한 충돌은 표 하나에만"이라는 한 줄이 컸다. 같은 충돌이 여러 표에 중복으로 잡히던 문제가 이 규칙 하나로 정리됐습니다. 하네스는 거창한 게 아니라, 이렇게 결과물을 망치는 한 가지 행동을 콕 집어 막는 작은 문장들의 모음에 가깝다는 걸 다시 느꼈습니다.
배운 점 4. 의도적 후렴과 비의도적 중복은 다르다. 진단 표 B-1에 "반복유형" 칸을 넣은 게 유효했습니다. "위임은 도구가 아니라 자기 인식의 문제"처럼 저자가 일부러 반복한 후렴은 보존 대상으로, 단순 분산 서술은 통합 검토 대상으로 갈렸습니다. 중복이라고 다 지울 게 아니었습니다.
한계도 분명합니다. 이번엔 제가 공동 저자를 대표해 결정을 내렸지만, 원래 표 C(입장 충돌)는 저자 회의 안건으로 올라가야 하는 항목입니다. 즉 이 워크플로우의 진짜 완성형은 "진단 표를 그대로 회의 테이블에 올려 6명이 함께 결정하는 것"인데, 이번엔 시간 관계상 거기까지는 못 갔습니다.
향후 계획
다음엔 이 진단 표를 실제 공동 저자 회의 안건으로 그대로 올려, "AI가 짚어준 충돌을 사람들이 함께 결정하는" 단계까지 돌려보려 합니다. 진단(AI) → 협의·결정(사람 다수) → 반영(AI)의 한 바퀴를 온전히 완성해보고 싶습니다.
그리고 교정 및 교열에 대한 책을 읽어보고, 좋은 문체의 기준에 대해 학습한 다음에 하네스 기준을 업데이트하는 것도 좋을 것 같습니다 :)
