지난 글에서는 66번의 인터뷰 끝에 목차를 만들기까지의 상황에 대해 썼습니다.
이번 사례글은 목차를 토대로 프롤로그와 1부까지 써본 이야기를 나누고자 합니다.
결론부터 말씀드리자면, 이제 AI가 어느 정도 완성도 있는 결과물을 써줄 것이고
전 수정만 하면 되는 줄 알았는데 그게 아니더군요ㅎ;
이 글의 대화 이미지는 실제 대화에서 개인정보와 군더더기를 덜어내고, 읽기 편하도록 일부 축약·재구성했습니다.
※ 바쁘시면 이것만 읽어도 돼요
목차까지는 순조로웠는데 원고를 쓰자 AI가 없는 기억을 지어내기 시작함
세 번 지어냈고 세 번 다 잡힘. 잡은 건 내가 아니라 원칙 검수 단계!
AI가 샘플 한 편으로 만든 문체 규칙을 직접 고쳐보니 세 개가 틀림
근거로 댄 논문 두 편이 제 질문에 안 맞아서 교체함
1부는 아직 94% 완성. 나머지 다섯 부와 에필로그는 시작도 못함;;
첫 초고에서 제가 하지 않은 말이 나왔습니다
프롤로그 초고를 받았습니다. 2020년에 제가 블로그에 쓴 글로 여는 구성이었어요. 개그맨의 할머니가 남긴 치부책 이야기를 듣고 "나도 가족에게 그런 거 하나 남기면 재밌겠다"고 썼던 글입니다.
초고에 이런 문장이 있었습니다.
아빠는 그 공책을 며칠 생각했다.
며칠 생각한 적 없습니다. 제 블로그 원문에는 "문득 들었다", "떠올랐다"뿐이에요. AI가 만든 겁니다.
또 하나 있었습니다.
아빠도 아빠의 아버지가 살던 대로 살지 않았다.
문장 리듬은 좋았어요. 그런데 저는 그런 말을 한 적이 없습니다. 아버지와의 관계에 대해 그렇게 정리한 적도 없고요.
그림 1. 원천에 없는 문장 두 개가 비평 단계로 넘어가기 전에 걸렸습니다.
다행히 이 둘은 원고가 제 손에 오기 전에 걸렸습니다. 초고를 쓴 뒤 바로 비평가 페르소나에게 넘기지 않고, 그 앞에 "원칙 검수"라는 단계를 하나 뒀거든요. 원천에 없는 감각·대사·사건이 있는지, 공개하면 안 되는 게 섞였는지만 기계적으로 보는 단계입니다.
없는 걸 만든 건 비평 대상이 아니라 차단 대상이라고 봤습니다. 이 순서가 없었으면 저 두 문장은 제 눈에 그럴듯하게 읽혔을 거예요.
직접 고쳐보니, AI가 만든 규칙이 제 기대치와 달랐습니다
프롤로그를 통째로 다시 썼습니다. 그리고 AI가 원본과 제 수정본을 비교했는데, 결과가 꽤 충격적이었어요.
858자 → 1,164자. 평균 문장 18.7자 → 24.8자.
AI가 만든 문체가이드에는 이렇게 적혀 있었습니다. "짧고 단단한 문장 호흡." 제가 고친 결과는 정반대였어요. 문장이 33% 길어졌습니다.
왜 길어졌나 보니, 이런 식이었습니다.
AI:
대신 아빠가 미뤘다.(9자)저:
대신 내가 블로그에 만들어둔 치부책은 글 몇 개를 끝으로 먼지가 쌓여가고 있지.(40자)
그림 2. 제 수정본을 재보니 AI가 세운 규칙과 달랐습니다
"짧고 단단한 문장 호흡."이라는 기준이 애매모호했던 거 같습니다. 제가 생각한 거 보다 AI는 더 타이트하게 규칙을 잡고 있었던 거 같습니다. 더 깎아 나가야 하는 부분 같습니다.
어투도 뒤집혔습니다. AI는 전부 ~다체로 썼는데 저는 ~다를 하나도 안 남기고 전부 구어체로 바꿨어요. 딸에게 말하는 글이니까요.
인터뷰 원천에 없는 것에 대해서 질문을 통해 더 개선할 수 있었을 텐데 대충 그냥 넘어가는 느낌도 들었습니다.
AI는 처음에 이렇게 썼어요.
맞춤법이 틀리고 글씨가 삐뚤빼뚤했다. 욕도 그대로 적혀 있었다고 했다.
인터뷰 원천에 구체적인 내용이 없으니 요약으로 덮은 겁니다. 그런데 저는 그 자리에 할머니가 실제로 하신 말과 치부책에 적힌 문장 두 줄을 구체적으로 넣어 수정했습니다. 욕이 그대로 들어간 문장이었고, 지금 프롤로그에서 제일 좋은 대목이 됐어요.
AI는 원천 파일에 없으면 없는 줄 압니다. 제 머릿속에 있는 건 모르죠. 물어봤으면 나왔을 겁니다. 언제, 어떻게 물어봐야할지도 깎아 나가야 하는 부분 같습니다.
"그 논문, 제 질문에 맞는 거 맞아요?"
1부는 방송사 시험에 세 번 떨어지고 꿈을 접은 이야기입니다. AI가 글 말미에 심리학 논문 두 편을 붙였어요. 실패의 원인을 어디에 두느냐에 관한 이론이었습니다.
읽어보니 뭔가 안 맞았습니다. 제가 하고 싶은 말은 이거였거든요.
모든 문제의 원인은 복합적이다. 전부 내 탓도 아니고 전부 환경 탓도 아니다.
그래서 물었습니다. 이 논문들이 객관적인 문제 분석에 대한 팁을 제대로 주는 게 맞느냐고. 기왕이면 더 최신 것으로 찾아봐 달라고요.
AI 답이 이랬습니다. "제가 인용한 두 논문은 이 자리에 맞지 않습니다." -_-;
한국어 텍스트가 포함된 페이지의 스크린샷
그림 3. 유명한 논문이라고 막 갖다쓰는 AI
그래서 갈아엎었습니다. 새로 온 건 항공·의료 사고 분석에서 쓰는 '스위스 치즈 모델'이었어요. 구멍 뚫린 치즈를 여러 장 겹쳐두면, 사고는 구멍이 일렬로 맞을 때만 일어납니다. 원인이 하나일 수가 없다는 뜻이에요.
같은 저자가 이런 말도 했더군요. 사람을 탓하는 방식과 조건을 살피는 방식이 있는데, 사람만 탓하면 그 사람을 그렇게 만든 조건이 안 보인다고요. 제 주제의식에 좀 더 가까웠죠.
지금 1부에는 제 불합격이 여섯 겹으로 펼쳐져 있습니다. 준비 기간, 나눠 쓴 시간, 시사상식, 조급함, 집안 형편, 그리고 세 번을 봐도 안 된 실력. 저는 그중 '형편' 한 장만 붙들고 있었어요.
읽지도 않은 책을 읽은 것처럼 말해주는 AI
AI가 각 장 끝에 '더 알고 싶다면'이라는 추천 목록을 만들어줬습니 다. 한국어판까지 찾아서요.
빼자고 했습니다. 제가 안 읽어본 책이거든요. 좋은지 나쁜지 판단이 안 서는데 독자한테 권할 수는 없었습니다.
대신 이렇게 쓰기로 했습니다. "그때 이런 방법을 알았더라면 이렇게 생각해보거나 시도해볼 수도 있었을 텐데, 나는 내 자신만 아니면 내 환경만 탓했다." 연구를 추천이 아니라 후회의 근거로 쓰는 방식으로 전환했죠.
그랬더니 AI가 문제를 하나 더 들고 왔어요. 지금 본문에 "나중에 읽었다"고 적혀 있는데, 안 읽으셨으면 그것도 지어낸 게 된다고요.
맞는 말이라 지금 그 책을 읽어보려고 합니다. 전부는 아니고 해당하는 장만요.
질문을 하나씩 하라고 했는데 또 까먹은 AI의 자백
1부를 쓰다 막힌 곳이 나와서 AI가 질문 세 개를 한꺼번에 보냈습니다. 하나씩 하자고 했어요. 한 번에 하나여야 만족스럽지 않을 때 두세 번 더 파고들 수 있으니까요.
그랬더니 이런 답이 왔습니다.
"제가 프로젝트의 기존 원칙을 어겼습니다."
프로젝트 문서에 이미 "질문은 한 번에 하나씩만 한다"가 있었대요. 66번 인터뷰가 그 원칙으로 진행됐고요. 그런데 AI가 나중에 규칙을 정리하면서 "한 부당 최대 세 개를 모아서"라는 '지맘대로 규칙?!'을 만들어 넣었던 겁니다.
한국어 문자 메시지 스크린샷
그림 4. AI가 나중에 만든 규칙이 프로젝트의 원래 원칙을 덮어썼습니다.
자기가 만든 규칙이 기존 규칙을 덮어쓴 거 같습니다. 저는 AI가 물어보니까 그냥 넘어가려다가 3개의 질문이 부담되서 지적을 했죠.
하나씩 묻기로 바꾸고 네 번을 주고받았는데, 여기서 1부의 빈자리가 채워졌습니다.
이 과정에서 배운 것 '빈 틈이 있으면 AI는 요약으로 덮어 버리는 성향이 있나?'
AI는 빈자리를 그냥 두지 못하는 경향이 있는 거 같습니다.
원천에 없으면 요약하거나 대충 쓰는 느낌입니다. 규칙이 하나 생기면 모든 구간에 균등하게 적용하려 듭니다. 유머를 넣으라고 하면 진지해야 할 안내문에도 넣으려고 해요. 실제로 그래서 "매번 웃음이 나올 수는 없다, 진지할 땐 진지해야 한다"고 한 번 멈춰 세웠습니다.
반대로 AI가 잘한 건 따로 있었어요. 제 수정본과 원본을 글자 수까지 재서 비교해준 것, 그리고 자기가 만든 규칙이 틀렸다는 걸 데이터로 인정한 것입니다. 문장 평균 길이가 33% 늘었다는 건 제가 감으로는 절대 몰랐을 사실이에요.
다시 시작한다면 다음 순서를 지킬 것 같습니다
초고를 쓰기 전에 원칙 검수 단계를 먼저 만듭니다. 없는 걸 지어냈는지만 보는 단계입니다.
그 검수를 비평보다 앞에 둡니다. 취향은 논의 대상이지만 지어냄은 차단 대상이니까요.
AI 초고를 반드시 따로 저장해둡니다. 저는 git 커밋으로 남겼는데, 덕분에 제가 뭘 고쳤는지 나중에 숫자로 볼 수 있었습니다.
(중요) AI가 만든 문체 규칙을 믿지 않습니다. 샘플 한 편으로 만든 추정이기 때문에 계속 깎아 나가야 합니다. 제가 직접 고친 결과가 진짜 규칙이에요.
(중요) AI가 요약으로 덮은 자리를 찾습니다. 거기가 제 '구체적인' 기억이 들어갈 자리입니다.
질문은 한 번 에 하나만 받습니다. 세 개를 받으면 제일 쉬운 하나만 성의 있게 답하게 되더라고요.
인용할 근거가 제 질문에 맞는지 따로 확인합니다. 유명한 논문이라고 제 자리에 맞는 건 아니었습니다.
난 언제 글을 다 쓸 수 있을까? ㅠㅜ
솔직히 말씀드리면 원래 8월 11일에 출간 신청을 하려고 했어요. 지금은 그 날짜를 잠시 내려놨습니다.
프롤로그와 1부, 두 편이 나왔습니다. 1부는 목표 분량의 94%고요. 나머지 다섯 부와 에필로그는 아직 시작도 못 했습니다.
일정을 밀면서까지 이러고 있는 게 맞나 싶기도 한데, 급하게 여섯 부를 채우는 것보다 한 부라도 제 이야기인 게 나을 것 같아서요. 어차피 딸이 언젠가 읽을 책인데 분량 맞추려고 지어낸 문장이 섞이면 곤란하잖아요.
다음 글에서는 나머지 부분을 어떻게 써가고 있는지에 대해 써야 할텐데 회사 일이 바빠서 막막하네요;;;
