무지성으로 클로드 코드가 시키는 대로 했더니 — AI 코칭 실패기

팀 Slack에 링크 하나가 올라왔어요. 논문을 영상으로 설명해주는 오픈소스라고요. 저는 "논문 말고 우리 코칭 같은 것도 될까요?" 하고 댓글을 달았고, 그게 그대로 작업이 됐습니다.

저는 클로드 코드로 코칭을 받으며 이 작업을 했어요. 코칭이 선택지를 주면 제가 고르는 식이었고요.

설명 영상 한 편이 나왔습니다. 비용은 0원이었고요. 여기까지만 쓰면 성공기예요.

그런데 다 끝내고 나서 이상했어요. 영상은 있는데, 제가 뭘 한 건지 설명이 안 됐습니다. 그래서 대화 기록을 열고 제가 내린 결정을 하나씩 세어봤어요. 그 결과가 이 글입니다.

세어보니 20번 중 13번

AI가 선택지를 주며 물어본 게 21번, 제가 답한 게 20번이었어요.

답한 20번의 분포 — 기본값 13, 직접 고름 6, 멈춤 1

읽고 고른 게 아니라, 화면에 뜬 첫 번째나 "(추천)"을 눌렀다는 뜻이에요.

개입한 7번은 전부 귀로 들리는 것이었어요

비율보다 뜨끔했던 건, 기본값이 아니었던 7번이 어디에 몰려 있느냐였습니다.

개입은 AI 보이스를 선택하는 영역에만 몰렸습니다.

• 음성 — 5번 · "너무 어색해요" "다른 것도 들어볼래요" "이 둘을 비교해주세요"

• 레포 위치 — 1번 · 제가 알 수밖에 없는 사실 확인

• 멈춤 — 1번

반대쪽을 보면 더 분명해요. 구조를 정하는 질문은 전부 기본값이었습니다.

음성은 들으면 어색한 걸 바로 아니까 다섯 번이나 파고들었어요. 렌더러는 들리지도 보이지도 않으니까, 그게 앞으로 9장면을 전부 좌우한다는 걸 모른 채 추천을 눌렀고요.

제가 판단할 수 있는 것만 판단했던 거예요. 모르는 영역일수록 기본값으로 흘렀습니다.

그래서 끝났어야 할 자리에서 안 멈췄어요

원래 물음은 "이 오픈소스로 우리 코칭이 시각화되나"였어요.

첫 단계에서 답이 나왔습니다. 그 서비스는 논문 번호만 받고, 형식이 안 맞으면 거부해요. 사용 허가 문서도 없었고요. "이 서비스로는 안 된다" — 제가 물어본 것에 대한 답은 여기서 끝났습니다.

남의 레포를 쓸 수 있나 — 입력과 LICENSE 두 관문

그런데 그다음 질문이 이랬어요.

이 판정대로 2단계(장면 대본)로 넘어갈까요?

• 네, 대본 만들어주세요

• 렌더러를 지금 정하자

• 그 오픈소스를 직접 돌려보자

세 개가 전부 "계속한다"입니다. "여기서 끝낸다"가 없었어요. 질문이 계속할지가 아니라 어떻게 계속할지를 묻고 있었고, 저는 1번을 눌렀습니다.

나중에 기록을 전부 뒤져봤어요. AI가 먼저 "멈추자"고 한 적은 20번 내내 한 번도 없었습니다. 오히려 "못 쓴다"는 판정을 낸 바로 그 답변 안에서, "이 레포의 진짜 가치는 코드가 아니라 설계"라며 계속할 명분을 만들었고요.

원인은 더 앞에 있었어요. 코칭을 시작할 때 체크포인트 5개를 미리 확정했는데, 그때는 1단계 결과가 존재하지도 않았습니다. 판정이 뒤 단계를 지울 수 있는 구조가 애초에 없었던 거예요.

그래서 작업 대부분이 처음 물음과 상관없는 것이 됐습니다.

방향을 바꾼 건 영상 주제 때 딱 1번이었어요

20번 중 딱 한 번, 선택지 세 개가 다 아니어서 안 고르고 그냥 닫았습니다. 세 개 전부 그때까지 만든 대본을 계속 쓴다는 전제였거든요.

안 고른 한 번 — 세 선택지가 전부 그 대본을 전제했어요

그러고 나중에 직접 이렇게 썼어요.

심화 - worktree란? 이런거 설명해주는거라면?

11장면 대본이 통째로 버려졌습니다. 그건 개념이 아니라 절차 안내였고, 절차는 그림으로 그려도 딱히 더 이해되지 않거든요. 방향을 바꾼 건 고른 19번이 아니라, 안 고른 1번이었어요.

다음엔 이렇게 하려고요

정리하면 제가 빠져 있던 건 이런 고리였습니다.

결과물이 나오면 과정을 돌아볼 이유가 없어진다

① 선택지를 좀 읽어야겠어요

• 쓰고 보니 너무 당연한 말이에요. 그런데 세어보기 전까지는 제가 안 읽고 있다는 걸 몰랐습니다

• "(추천)"은 AI가 제 상황을 안다는 뜻이 아니라 일반적으로 무난하다는 뜻이더라고요

• 음성엔 다섯 번 파고들고 렌더러는 한 번에 넘겼는데, 차이는 중요도가 아니라 제가 판단할 수 있느냐였어요. 하필 판단이 안 서는 쪽을 안 읽은 겁니다

② 선택지가 다 아니면, 고르지 마세요

• 세 개 중 억지로 고르면 "내가 원한 게 뭐였는지"를 따질 자리가 사라져요

• "셋 다 아닌데, 내가 하고 싶은 건 이거야"라고 쓰는 게 훨씬 빨랐습니다

③ 조사가 끝나면 "계속할지"부터 따로 묻습니다

• 선택지가 전부 "계속한다"면 그건 질문이 아니라 통보예요

• 처음에 단계를 다 확정해두면 중간 판정이 뒤 단계를 못 지웁니다

④ AI는 물어보면 답하지만, 안 물어보면 안 짚어요

• 주제가 안 맞는다는 걸 AI는 물어보자마자 정확히 말했습니다. 그 전엔 한 번도 안 꺼냈고요

• 단계 사이사이에 "지금 이게 원래 목표에 맞나?"를 제가 물어야 해요

마지막으로

영상은 잘 나왔습니다. 무료로, 대본만 고치면 다시 만들 수 있는 형태로요.

그런데 그게 제 실력이었는지 AI의 기본값이었는지는 구분이 안 됩니다. 20번 중 13번을 추천대로 눌렀으니까요.

AI 코칭에서 무서운 건 틀린 답을 주는 게 아니었어요. 내가 판단할 수 없는 영역에서 조용히 기본값이 채택되고, 결과물은 멀쩡하게 나와버리는 것이더라고요. 결과가 괜찮으면 과정을 돌아볼 이유가 없어지니까요.