칼날 LLM Wiki ② — 렌즈를 휴먼에서 스릴러로 갈아보고, 잠시 멈춘 기록

소개

지난 사례글과 발표에서 나는, 자료를 쌓아두기만 하는 위키를 넘어 전문성을 갖고 자료를 분석하는 '렌즈'를 깎는 위키 — 내가 '칼날 위키'라고 부르는 걸 만들고 있다고 했다. 잘 쓴 대본 한 편을 AI에게 주고 "분석한 걸 보고 거꾸로 다시 써봐" 시켜서, 못 따라잡은 부분으로 렌즈를 더 날카롭게 깎는 방식(발표의 v2)까지 보여드렸다.

이번 글은 그 다음이다. 그 방법을 한 작품 끝까지 돌려봤고, 두 번째 장르를 더해 렌즈를 한 번 더 갈았다. 그리고 솔직히 말하면 — 분석에 날이 서기 시작했는데, 토큰을 너무 먹어서 잠시 칼을 내려놨다. 이 글은 그 "날이 서기 시작한 지점"과 "왜 잠시 멈췄는지"를 정직하게 적은 기록이다.

1. 칼날 위키란 무엇인가

말이 어려워 보이니 '그냥 LLM wiki'부터 짚자.

LLM wiki는 자료를 쌓아두기만 하는 창고가 아니다. 집어넣고(ingest) · 물어보고(query) · 검토·정리하고(lint) 같은 동작으로 계속 자라고 답하는, 일종의 살아 움직이는 유기체다. 자료가 들어올 때마다 스스로 정리되고, 내가 물으면 그 자료를 엮어 답을 준다.

칼날 위키는 거기서 한 걸음 더 간다. 쌓인 전문 지식을 행동으로 옮길 수 있게 — 즉 피드백을 줄 수 있게, 그러나 한 분야를 예리하게 파고들도록 벼린 위키다. 뭉툭한 만능 칼이 아니라, 한 분야를 깊게 베는 잘 선 칼날.

내 경우 그 분야는 '드라마'다. 더 정확히 말하면 — 대본을 읽고 피드백을 주는 일이다. 잘 쓰는 법(작법)을 가르치는 도구가 아니라, 쓴 걸 읽고 평가·진단하는 도구. 이 구분이 이 글 내내 중요하니 먼저 박아둔다.

그럼 그 '날'을 어떻게 세우나. 여기서 내가 택한 방법이 재생산(거꾸로 쓰기)이다.

잘 쓴 대본 한 편을 골라 AI에게 분석만 시킨다. 그다음 원본은 감춰버리고, 그 분석 결과(체크리스트)만 손에 쥐여준 채 "이 분석을 보고 같은 이야기를 네 문장으로 다시 써봐"라고 시킨다. 그리고 새로 쓴 걸 원본과 비교한다.

여기서 내가 배우려는 건 하나다 — "내 분석이 진짜 정확한가?"

•    재생산이 어떤 요소를 정확히 살려내면 → 내 분석이 그 요소를 제대로 짚고 있었다는 뜻이다. 분석 기준이 단단한 거다.

•    재생산이 어떤 요소를 끝내 못 살려내면 → 내 분석이 그걸 짚은 줄 알았지만 사실은 뭔가를 뭉뚱그리고 있었다는 뜻이다. 거기를 더 깎아야 한다.

즉 재생산은 분석의 정확도를 재는 리트머스 시험지다. 분석만 시키면 AI는 "이 작품엔 ○○가 있다"까지만 안다. 그게 정확한 판단인지, 아니면 그럴듯한 착각인지는 분석만으론 영영 모른다. 직접 써보게 하면 그제야 검증된다. 레시피를 읽는 것과 실제로 만들어보는 것의 차이다 — 읽을 땐 다 안 것 같지만, 만들어봐야 "내가 이 단계를 잘못 이해했구나"가 드러난다.

2. 재생산이 '평가'를 어떻게 날카롭게 했나

다시 한번 못박는다. 내가 만드는 건 대본을 읽고 피드백을 주는 도구(평가)다. 대본을 잘 쓰게 도와주는 도구(작법)가 아니다. 그러니 이 장에서 보여줄 건 "재생산을 했더니 평가가 어떻게 날카로워졌나"다. 두 가지로 드러났다.

① 점수 한 개 → 항목별 진단으로. (피드백의 해상도)

렌즈가 없을 때, 내가 대본 한 편에 해줄 수 있는 말은 "음, 10점 만점에 8점쯤? 신선하네"가 전부였다. 왜 8점인지, 어디가 좋고 어디가 빈지는 설명을 못 했다. 그냥 감(感)이었다.

재생산으로 깎은 렌즈를 대고 나니, 같은 대본을 두고 "이 지점은 살아 있고, 저 지점은 비어 있다"를 항목별로 짚어 말할 수 있게 됐다. 점수 한 개짜리 감상이 진단서가 된 거다. 이게 재생산이 평가에 한 첫 번째 일이다 — 피드백의 해상도를 올렸다.

한 가지는 정직하게 짚자. 이건 "내가 평가를 더 잘하게 됐다"기보다 "AI에게 시킨 평가가 구체적으로 나오게 됐다"에 가깝다. 그리고 그 구체적인 진단이 진짜 맞는지는 또 다른 문제다. 그래서 ②가 중요하다.

② 진짜 날은 "못 쓴 걸 못 썼다고 잡아내는가"에 있다. (예리함의 기준)

여기서 내가 가장 경계한 함정이 있다. 잘 쓴 대본은 어떤 도구로 재도 점수가 잘 나온다. 프로가 썼으니까. 그러니 "잘 쓴 대본이 좋게 평가됐다"는 건 칼이 예리하다는 증거가 못 된다 — 그냥 프로가 썼다는 증거일 뿐이다. 무딘 칼도 거기선 똑같이 "좋네요"라고 말한다.

예리한 평가 도구의 진짜 시험은 정반대다. 일부러 못 쓴 대본을 넣었을 때, 점수가 뚝 떨어지는가. 떨어지면 날이 선 거고, 그래도 다 "통과"로 나오면 무딘 거다. 무딘 칼은 자기가 무딘 줄도 모른 채 모든 대본에 "좋아요"를 남발한다.

그리고 내가 저평가한 대본(그러나 이전 위키는 괜찮다고 한)을 칼날 위키에 넣고 분석해보니 확연한 차이가 있었다. 칼날 위키가 작법까지 지적하며 대본이 가진 한계를 명확하게 말해줬다.  확실히 칼날 위키가 이전 위키와는 다르다는 점을 확인했다.

3. 첫 렌즈를 완성하다 — 휴먼 12부작

발표 이후 주중과 주말 내내 계속 깎았다. 그래서 휴먼 드라마 A의 12부작 전편을 처음부터 끝까지 재생산 루프로 돌리는 데 성공했다. 한 작품을 통째로 갈아낸 첫 렌즈였다. 몇몇 회차는 재생산본이 원본 수준까지 따라붙었다. 물론 완전히 같은 드라마를 만든건 아니였다. 하지만 꽤나 훌륭하게 만들어 냈다.

그 렌즈로, 내가 요즘 붙잡고 있는 대본 C를 다시 봤다. 효과는 분명했다. 예전 같으면 "음, 10점 만점에 8점쯤? 신선하네" 한마디로 끝났을 텐데, 이제는 "이 작법은 켜지고, 저 작법은 안 켜진다"를 항목별로 짚어 말할 수 있었다. 점수 하나가 아니라, 무엇을 잘하고 무엇을 안 쓰는 작품인지를 문장으로 설명할 수 있게 된 거다. 분석이 진짜로 한 단계 올라선 순간이었다.

그런데 곧 벽에 부딪혔다. 대본 C는 스릴러였고, 내 렌즈는 휴먼이었다. 휴먼 드라마의 자(尺)로 스릴러를 재니 "이 작품엔 휴먼 작법이 없다"는 말만 잔뜩 나왔다. 당연한 거다. 장르가 다른데. 따뜻한 정극의 자로 서늘한 스릴러를 재고 "왜 따뜻하지 않냐"고 말하는 꼴이었다.

이건 실패가 아니라 발견이었다 — 한 장르로만 깎은 자는 그 장르 쪽으로 휘어 있다. 휜 자인지 확인하고 펴는 방법은 하나뿐이다. 정반대 장르로 한 번 더 깎는다. 그래서 다음 작업이 정해졌다.

4. 두 번째 렌즈 — 맥미니에게 완전 자동화를 맡기다

먼저, 내 작업 생태계

내 컴퓨터는 둘이다.

•    그램(Windows) — 내가 직접 앉아서 조작하는 메인 컴퓨터. 깨어 있는 낮 동안 여기서 작업한다.

•    맥미니(macOS) — 늘 켜져 있는 작은 서버. 직접 만지지 않고, 그램에서 원격으로 명령만 보낸다.

재생산 루프는 한 회차에 한 시간씩 걸리는 느리고 긴 작업이다. 처음엔 그램으로 했다. 렌즈 깎기를 몇번 해본뒤 그 공정 자체를 스킬로 만들어서 자동으로 돌아가게 했다.  그러나 그램이 병목이였다. 그램은 내 주 노트북이라 회사에도 집에도 이동하면서 해야하다보니 작업이 게속 끊겼다.

그래서 이걸 맥미니에 자동으로 도는 스크립트(자율 러너)로 올려서, 내가 자는 동안 밤새 회차를 돌리게 위임했다. 낮엔 그램에서 내가 직접 한 편씩 손보고, 밤엔 맥미니가 무인으로 나머지를 돌리는 분업. 두 번째 장르 — 스릴러 드라마 B의 8부작 — 을 이 무인 체제로 주말 내내 돌렸다.

결과부터: 8편 중 7편을 끝까지 돌렸고, 마지막 1편은 못 했다. 토큰이 떨어져서 내가 직접 멈췄다(뒤에 설명). 그리고 무인으로 돌리는 동안, 별의별 일을 다 겪었다.

시행착오 ① — 맥미니로 옮기다 한 가지를 빼먹어서, AI가 자기 답을 자기가 채점했다.

맥미니에서 무인으로 돌리려고 셋팅을 옮기는 과정에서, 중요한 한 가지를 빠뜨렸다. '글 쓰는 AI'와 '채점하는 AI'를 분리하는 설정이다. 둘이 같은 AI로 묶여버렸다. 학생이 자기 시험지를 자기가 채점하게 둔 셈이다. 그랬더니 밤사이 회차들이 두어 시간 만에 줄줄이 "합격 ✅"으로 떴다. 너무 빨라서 이상했다. "첫 회는 밤을 꼬박 새웠는데 다음 회들이 두어 시간? 말이 안 되는데" 하는 직감으로 열어봤더니, 줄거리도 인물도 원본과 완전히 다른 이야기가 만점을 받고 있었다. 채점 기준이 "내용이 딴 데로 새도 통과시킬 만큼" 헐거운데, 그걸 쓴 AI가 자기 입으로 합격을 외친 거다. 가짜 합격이었다.

시행착오 ② — 그램에선 되던 게, 맥미니로 넘어가며 깨졌다.

사실 글 쓰는 AI와 채점 AI를 분리하는 정식 방식은 원래 그램에서 내가 직접 돌릴 땐 멀쩡히 작동하던 거였다. 무인화하면서 맥미니로 옮기다 그 분리가 빠진 거다. 그래서 제대로 분리해 — 쓰는 AI 따로, 채점은 서로 다른 모델 둘에게 맡겨 둘 다 통과해야만 합격 — 다시 돌렸다. 그랬더니 점수가 확 떨어졌다. 몇 회차는 아무리 고쳐 써도 끝내 통과를 못 했다. 작법을 고치면 원본과 멀어지고, 원본에 바짝 붙이면 작법이 깨지는 줄다리기가 발목을 잡았다(이 줄다리기는 6장 문제 ②에서 다시 나온다). 그런데 이 "정직하게 돌리니 잘 안 됨"이야말로 진짜 신호였다. 가짜 합격이 가려두고 있던 진짜 난이도가 그제야 드러난 거다.

시행착오 ③ — 밤중에 AI 사용량 한도가 터져서, 리셋 시각을 역계산해 재개시켰다.

새벽에 무인으로 돌리던 중 AI 사용량 한도가 소진돼, 몇 회차가 통째로 빈손으로 끝났다. 다행히 비싼 단계(글 생성)에서만 죽고 그 앞 준비 단계는 다 됐던 터라, 나는 한도가 다시 채워지는 시각을 역으로 계산해서, 바로 그 시각에 작업이 자동으로 다시 켜지도록 재개 스크립트를 걸어뒀다. 자는 사이에 한도가 풀리고, 풀리자마자 멈췄던 회차부터 알아서 이어 돌게 한 거다.

시행착오 ④ — "끝났는지" 판정하는 코드에 버그가 있었다.

그런데 그 재개가 헛돌았다. 진행 기록 안에 "…추출 완료" 같은 작은 단계의 '완료' 글자가 있으면, 재개 스크립트가 그 회차를 통째로 "이미 끝남"으로 오판했다. 그래서 한도가 멀쩡히 복구된 새벽인데도 "남은 회차 없음"이라며 그냥 스킵해버렸다. 판정 기준을 "진짜 통과 표시"로 바꿔서 고쳤다. 자동화의 진짜 함정은 멈추는 게 아니라, 조용히 잘못된 채로 "다 됐다"고 우기는 것이다.

시행착오 ⑤ — "너무 짧다"는 기준을 잘못 잡아, 멀쩡한 회차를 날렸다.

재생산본이 너무 짧게(=내용이 압축돼) 나오는 걸 막으려고 "글자 수 하한선"을 걸었다. 그런데 이 하한선을 너무 높게 잡는 바람에, 내용은 빽빽이 다 들어있는 좋은 본을 "분량 미달"이라며 네 번이나 반려했고, 그 회차를 통째로 날렸다. 길이와 충실도는 비례하지 않는다는 걸 비싸게 배웠다(한 번 다시 쓰는 데 20분 넘게 걸린다). 하한선을 "압축 참사만 거르는" 수준으로 낮춰 고쳤다.

시행착오 ⑥ — 마지막 1편은 일부러 안 했다.

7편까지 돌리고 나니 토큰이 바닥나기 시작했다. 마지막 한 편은 시작도 하기 전에 내가 직접 멈췄다. 토큰을 아끼려는 결정이었다. 그래서 "8부작 중 7편"이 됐다.

5. 그 렌즈로 분석했더니 — 무엇이 달라졌나

두 장르를 겹쳐보니, 그동안 한 덩어리로 "기본기"라 부르던 작법들이 세 무더기로 깔끔하게 갈라졌다. 쉽게 말하면 이렇다.

•    ① 두 장르 모두에 있는 것 = 진짜 기본기. 따뜻한 휴먼이든 서늘한 스릴러든 공통으로 쓰는 것. (예: 사물 하나에 의미를 싣기, 공간 묘사로 인물 마음 보여주기, 마지막을 감정으로 닫기)

•    ② 휴먼에만 있는 것 = '관계 드라마'의 작법. 사람 사이의 감정을 다루는 이야기에만 나오는 것. → 이건 "기본기"가 아니라 그 장르 전용이었다.

•    ③ 스릴러에만 있는 것 = '스릴러'의 작법. 두 번째 장르를 대보고서야 처음 보인 것.

전엔 ①과 ②가 한 덩어리로 뭉쳐 "다 기본기"였다. 두 번째 장르를 대고 나서야 진짜 기본기와 그 장르만의 작법이 갈라진 거다.

그리고 분석이 '구조'를 보기 시작했다. 전엔 장면 단위로만 보던 걸, 이제는 이야기 전체의 흐름으로 본다. 쉽게 풀면:

•    관객은 아는데 인물은 모르게 만들기 — 보는 사람만 폭탄의 존재를 알 때 생기는 그 조마조마함. 스릴러의 핵심 장치다.

•    진실을 끝까지 안 밝히고 닫기 — 다 설명하지 않는 닫음.

•    같은 물건이 장면마다 의미가 뒤집히기 — 누가 가해자인지가 그 물건을 따라 바뀌는 구조.

그래서 같은 대본 C를, 시점별로 이렇게 다르게 말할 수 있게 됐다.

마지막 한 줄이, 예전의 "8점" 한마디보다 비교가 안 되게 쓸모 있다.

덤으로 얻은 것 — 작법(쓰는 힘)도 늘었다.

재생산을 수없이 돌리다 보니, AI가 표면 작법(말 끊는 호흡, 사물에 의미 싣기 같은 것)은 두세 번 피드백만 줘도 거의 그대로 따라 썼다. 그 과정에서 나온 재생산본 중엔 꽤 쓸 만한 대본도 있었다. 분석 도구를 만들려다, 글쓰기 보조의 가능성까지 옆으로 본 셈이다. (이게 좋은 일만은 아니다... 다음 장에서.)

6. AI에게 직접 물어본 자평 — "방법론은 맞는데, 얕다"

나는 작업을 함께한 AI(Claude Code)에게 직접 물었다. "솔직히, 우리가 한 이거 의미 있어?" AI가 스스로 내린 평가는 이랬다.

접근(방법론)은 맞다. 그런데 아직 얕다.

재생산으로 분석을 검증하며 렌즈를 깎는 방향 자체는 옳다. 다만 렌즈에 쌓인 데이터가 아직 너무 적다. 두 장르, 스무 편 남짓으로는 "이건 관계 드라마 작법, 저건 스릴러 작법"이라는 판정에 깊이가 안 실린다. 이대로 꾸준히 쌓으면 분명 쓸 만한 분석 도구가 된다 — 다만 지금은 그 초입이다. 그리고 두 가지 큰 문제를 만났다.

문제 ① — 토큰을 너무 먹는다.

재생산은 비싸다. 한 회차를 한 번 다시 쓰는 데만 20분 안팎, 보통 회차당 서너 번은 고쳐 쓰니 회차 하나에 한 시간이 넘는다. 거기에 채점을 모델 둘에게 시키니 비용이 또 배다. 이걸 돌리는 주에는 사실상 다른 일을 못 한다. (내 요금제 한도 탓도 있을 거다. 나는 CLaude Max 100을 사용중이다.) 효용은 분명한데, 그 효용을 뽑는 비용이 지금 내 일상 작업을 통째로 잡아먹는 수준이다.

문제 ② — 렌즈가 '분석'이 아니라 '작법(글쓰기)' 쪽으로 깎여버렸다.

이게 제일 뼈아프다. 원래 1차 목표는 임의의 대본을 평가하는 분석 렌즈였다. 그런데 재생산 루프를 돌리는 과정에서 기준이 슬그머니 어긋났다.(시작부터 잘못된 것) 충실도와 작법이 한 루프 안에서 자꾸 맞바뀌고(4장 시행착오 ②에서 본 그 줄다리기), 렌즈가 "어떻게 잘 쓰나(작법)" 쪽으로 기울어졌다. "어떻게 정확히 평가하나(분석)" 쪽이 아니라. 솔직히 어디서 뭐가 잘못 섞였는지 정확히는 모르겠다... 너무 슬프다.

그렇다고 무의미하진 않다. 5장에서 말했듯 이 작법 쪽으로 휜 렌즈도 쓸 만한 대본을 만들어냈고, 재생산 기록이 더 쌓이면 글쓰기 보조 도구로 갈 길도 보인다. 아마 이건 방법이 틀린 게 아니라 내 설계(하네스)가 아직 부족한 탓이다. 분석 도구와 작법 도구, 둘 중 어디로 갈지를 내가 더 또렷이 잡아주지 못했다.

7. 그래서 — 잠시 칼을 내려둔다

결론은 단순하다. 토큰을 너무 먹어서 잠시 멈춘다.

지금은 다른 일을 하고, 토큰이 남는 주에만 몇 편씩 차근차근 갈 생각이다. 작가가 늘수록, 회차가 쌓일수록 칼날은 단단해질 테니 급할 건 없다. 한 번에 무리해서 일상 작업을 마비시키느니, 천천히 오래 가는 쪽을 택했다. 멈춤이 아니라 속도 조절이다.