위키를 43건에서 39건으로 줄였습니다 — 쌓기만 하던 자동화에 지우는 기능을 붙인 날

📝 한줄 요약

자료를 자동으로 쌓는 도구를 만들어놓고 보니, 잘못 들어간 걸 빼낼 방법이 없었습니다. 지우는 기능을 새로 만들어 가짜 재료에서 나온 문서 4건을 걷어냈고, 그 결과 위키가 작아졌습니다.

바쁘시면 이것만 읽어도 돼요:

• 위키를 채우려고 앉았는데 넣을 재료가 없어서, 대신 빼는 일을 했습니다

• 이 도구에는 지우는 기능이 아예 없었습니다. 쌓는 것만 자동이고 걷어내는 건 손도 못 대는 상태였어요

• 지우는 건 파일 삭제가 아니라 연결을 끊는 일이었습니다. 그냥 지우면 다른 문서가 허공을 가리킵니다

• 시험용으로 만든 가짜 자료에서 나온 문서 4건이 진짜 영상에서 나온 문서와 섞여 있었습니다

• 정리 도중 제 커밋이 하지 않은 일을 설명하는 상태가 됐고, 그대로 사실을 적어 수습했습니다

• 결과: 문서 43건 → 39건. 대신 남은 39건은 전부 실제 발언에 닿아 있습니다

🎯 이런 분들께 도움돼요

• 자동화를 만들어놨는데 잘못 들어간 걸 어떻게 뺄지 생각 안 해본 분

• 시험용 가짜 데이터와 진짜 데이터가 섞여본 적 있는 분

• "일단 쌓아두면 나중에 정리하지"라고 미뤄둔 자료가 있는 분

😫 문제 상황 (Before)

지난 편에서 위키에게 질문하는 AI를 만들었습니다. 그때 AI가 "뇌파를 다룬 자료가 없어서 이 연결은 못 한다"고 짚어줬고, 저는 다음에 그 빈칸을 채우겠다고 적어뒀습니다.

이번엔 그걸 하려고 앉았습니다. 그런데 넣을 재료가 없었습니다.

집에 있는 맥미니가 유튜브 전사를 계속 모으고 있어서 거기서 가져오면 될 줄 알았는데, 확인해보니 모아둔 채널 네 개가 전부 비기술 채널이었어요. 박문호 TV 1,818편의 제목을 전부 훑어도 AI를 다룬 회차가 0건이었습니다.

지금은 프로젝트를 만드는 중이라 채널을 더 늘릴 생각이 없었고요. 그래서 채우는 일은 접었습니다.

대신 눈에 걸리는 게 하나 있었습니다. 위키에 가짜 자료가 섞여 있었거든요.

🛠️ 사용한 도구

• 도구: Claude Code (설계·검증), Codex CLI (구현)

• 모델: Claude Opus 5 / GPT-5.6

• 특이사항: 설계·검증과 구현을 다른 프로그램에 나눠 맡기는 분업. 이번엔 두 번 맡겼고 두 번 다 재작업 없이 한 번에 통과했습니다

🔧 작업 과정

옮기는 게 아니라 복사하는 것

재료를 어디서 가져올지 정리하다가, 제가 "전사 파일을 llm-wiki로 옮긴다"고 설명했습니다. 그러자 바로 지적이 들어왔어요.

옮기지 말고 복사하면 되는 거 아닌가??

맞는 말이었습니다. 모아두는 쪽의 파일은 아카이브의 원본 기록이라 옮기면 그쪽에 구멍이 납니다. 정리하는 쪽은 사본을 갖고, 원본은 그대로 두는 게 맞아요.

그리고 이건 단순한 백업 문제가 아니었습니다. 정리하는 쪽의 전사 폴더는 경유지가 아니라 "이 위키가 무엇을 근거로 만들어졌는지 보여주는 입력 기록"이거든요. 위키 문서마다 "이건 어느 전사에서 나왔다"가 박혀 있어서, 그 파일이 남아 있어야 근거를 따라갈 수 있습니다.

사본이 양쪽에 있는 게 정상이었습니다.

"AI를 얼마나 아느냐"가 아니라 "무엇에 빗대어 말하느냐"

그럼 나중에 어떤 채널을 넣으면 좋을지라도 정해두자 싶어 후보를 찾아봤습니다. 처음엔 제가 골라달라고 했더니 이렇게 돌아왔어요.

너가 찾아봐

검색해보니 나오는 건 전부 강의형 채널이었습니다. AI가 어떻게 작동하는지 정확하게 설명하는 곳이요. 그런데 이게 이 위키에는 안 맞습니다.

제 위키의 쓸모는 분야를 가로지르는 연결을 찾는 데 있는데, 강의형 채널은 설명 대상이 AI 안에 갇혀 있어서 뇌과학이나 투자 쪽으로 나갈 어휘가 안 나옵니다. 문서는 두꺼워져도 연결은 안 생겨요.

그래서 기준을 다시 잡았습니다.

"AI를 얼마나 깊이 아느냐"가 아니라 "AI를 무엇에 빗대어 말하느냐"

말하는 사람이 개념을 설명하려고 비유를 끌어올 때 분야 경계가 넘어갑니다. 그 기준으로 다시 찾으니 과학 커뮤니케이션 채널과 연구자 인터뷰형 채널이 올라왔습니다. 지금 제 위키에서 가장 큰 덩어리가 뇌과학이니, 같은 층위로 말하는 채널이 붙어야 연결이 생기거든요.

안 되는 것 세 가지를 확정했다

지금은 구축 단계라 아직 채널을 더 추가할 계획은 없어

이 한 줄로 남은 작업 목록이 정리됐습니다. 다섯 개 중 세 개가 재료가 없어서 못 하는 일로 확정됐어요.

그중 하나는 성격이 좀 달랐습니다. 속독법의 5단계 순서를 위키에 적으려던 건데, 전사를 뒤져보니 "3단계인 포토리딩 단계"라는 한 줄밖에 없었습니다. 나머지 네 단계는 이름도 순서도 없었어요.

저는 그 5단계가 뭔지 압니다. 검색하면 바로 나오고요. 그런데 그걸 적으면 이 위키의 유일한 가치가 무너집니다. 여기 적힌 건 전부 "누가 실제로 이렇게 말했다"여야 하는데, 제가 아는 걸 섞어 넣는 순간 어디까지가 근거고 어디부터가 짐작인지 구분이 안 되니까요.

그래서 안 적었습니다. 채울 수 있는데 안 채운 셈입니다.

문서가 코드보다 늦으면 다음 사람을 속인다

작업 상황을 정리하다가 진행 기록 문서를 열어봤는데, 거기 이렇게 적혀 있었습니다.

다음 단계: 1단계는 완료됨. 다음은 2단계 또는 3단계 착수 여부 결정

2단계도 3단계도 이미 끝난 상태였습니다. 이 문서는 인수인계용이라, 다음에 이 폴더를 열면 사람이든 AI든 "아 아직 2단계를 시작할지 정해야 하는구나"라고 읽습니다. 이미 만든 걸 다시 만들자고 할 수 있는 상태였어요.

원인이 구조에 있었습니다. 이 문서는 처음에 1단계용으로 만들어졌고, 그 뒤 작업 이력을 뒤에 덧붙여 왔거든요. 그런데 하필 "다음 단계"와 "위험 요소" 항목이 맨 뒤에 있으면서 내용은 1단계 시점이었습니다. 위에서 아래로 읽으면 최신 정보를 지나 낡은 결론에 도착하는 구조였어요.

고치면서 어제 한 작업이 통째로 빠져 있다는 것도 발견해 함께 채웠습니다.

지우는 건 파일 삭제가 아니었다

커밋 후 설계 진행

이제 본론입니다. 시험용 가짜 자료에서 나온 문서 4건을 빼야 하는데, 이 도구에는 지우는 기능이 아예 없었습니다.

명령이 일곱 개 있는데 전부 만들고 검사하고 찾는 것이고, 빼는 건 하나도 없었어요. 그렇다고 손으로 지우면 안 됩니다. 제가 직접 만든 규칙에 "위키 파일을 직접 고치지 말 것"이라고 적어뒀거든요. 검사를 거치지 않고 손대는 순간 그 규칙이 무의미해집니다.

설계하려고 살펴보다가 함정을 발견했습니다. 지우려는 문서 세 개 중 두 개로 다른 분야에서 링크가 들어오고 있었습니다. 어제 만든 분야 교차 연결이었어요.

그러니까 그냥 지우면 다른 문서 두 개가 허공을 가리키게 됩니다.

지우는 건 파일 삭제가 아니라 연결을 끊는 일이었습니다.
나가는 것만 지우면 들어오는 화살표가 남습니다.

이걸 알고 나니 순서가 정해졌습니다. 들어오는 링크를 먼저 떼어내고, 그다음에 지운다. 반대로 하면 중간에 깨진 링크가 생깁니다.

규칙 두 개를 더 넣었습니다.

첫째, 애매하면 아예 안 지운다. 위키 문서 하나에 여러 자료가 합쳐진 경우가 있는데, 이건 AI가 여러 요약을 하나의 글로 녹여놓은 상태라 한 자료의 몫만 떼어낼 방법이 없습니다. 억지로 지우느니 "이건 사람이 판단하세요"라고 멈추게 했어요.

둘째, 왜 지웠는지를 반드시 남긴다. 사유를 안 쓰면 명령이 실행되지 않게 했습니다. 이 위키의 존재 이유가 근거를 따라갈 수 있다는 건데, 조용히 사라진 문서가 있으면 그 자체로 결함이니까요. 지운 문서의 제목과 출처를 기록 파일로 남기게 했습니다. 지웠지만 지웠다는 사실은 추적됩니다.

설계를 넘기고 나온 결과를 검증 13항목으로 직접 다시 돌려봤습니다. 전부 통과했고, 실제 위키는 한 글자도 안 바뀐 상태였습니다.

커밋 메시지가 하지 않은 일을 설명하고 있었다

차례대로 실행

정리할 게 세 개 남아 있었습니다. 첫 번째를 하다가 제 실수가 나왔어요.

작업 기록에 쓸데없이 큰 로그 파일이 끌려 들어간다는 걸 발견했습니다. 무시 목록에 분명히 "로그는 제외한다"고 적혀 있었는데, 적어둔 방식이 하위 폴더까지는 못 걸러내는 형태였어요. 그래서 몇 주 전부터 로그 일곱 개가 조용히 쌓이고 있었습니다.

고치고 커밋했는데, 나중에 보니 정작 고친 내용이 커밋에 안 들어가 있었습니다.

원인이 좀 얄궂었습니다. 추적을 해제하는 명령은 그 변경을 자동으로 등록해주는데, 제가 손으로 고친 파일은 자동 등록이 안 됩니다. 화면에 둘 다 표시되긴 하는데 앞칸에 미세한 차이가 있었고, 그걸 놓쳤어요.

결과적으로 커밋 설명은 "이렇게 고쳤다"인데 실제로는 안 고쳐진 상태가 됐습니다. 몇 시간 전에 제가 "문서가 코드보다 늦으면 다음 사람을 속인다"며 고쳤던 바로 그 문제를, 제가 다시 만든 거죠.

기록을 새로 쓰는 대신 누락 사실을 그대로 적은 커밋을 하나 더 남겼습니다. 개인 저장소라 되감을 수도 있었지만, 어긋난 기록을 지우는 것보다 어긋났다고 적는 쪽이 정직하다고 봤습니다.

여기서 하나 배웠습니다. 추적 상태를 보고 관례를 짐작하면 틀립니다. 저는 로그가 커밋돼 있는 걸 보고 "이 프로젝트는 로그도 남기는구나"라고 읽었는데, 실제로는 무시 목록에 적힌 말이 진짜 의도였고 추적되던 쪽이 버그였어요.

오늘 아무것도 안 바뀌어야 성공인 수정

두 번째는 방금 만든 기능의 잠재 결함이었습니다.

들어오는 링크를 떼어낼 때 제목만 보고 판단하고 있었어요. 그런데 같은 제목의 문서가 두 분야에 있으면, 살아남는 쪽을 가리키는 링크까지 같이 떼어냅니다. 멀쩡한 연결이 사라지는 방향의 오류였죠.

지금은 같은 제목이 겹치는 경우가 없어서 터지지 않습니다. 그런데 이 프로젝트는 분야가 계속 늘어날 예정이고, 코드에도 "언제 겹칠지 모르니 자리를 만들어 둔다"고 적혀 있었어요. 설계가 예상해둔 미래에 정확히 터질 문제였습니다.

이 수정은 검증 기준이 좀 특이했습니다.

오늘 데이터에서는 아무것도 바뀌지 않아야 정상이다.

미래에만 동작이 갈리는 수정이라, 지금 결과가 달라졌다면 고친 게 아니라 새로 만든 겁니다. 그래서 "수정 전과 결과가 완전히 같을 것"을 최우선 검증으로 두고 확인했습니다.

그리고 위키를 줄였다

마지막이 실제 회수였습니다.

지우기 전에 되돌릴 수 있는지부터 확인했습니다. 네 건 모두 작업 기록에 남아 있어서 언제든 복원 가능했어요. 2편에서 배운 걸 그대로 적용한 셈입니다.

실행하니 이렇게 정리됐습니다.

• 문서 4건 삭제

• 다른 분야에서 들어오던 링크 2건 제거

• 지운 이유와 출처를 기록 파일로 저장

• 목차와 검색 색인 재생성

검사를 돌리니 깨진 링크 0건, 외톨이 문서 0건이었습니다. 링크를 먼저 떼어낸 순서가 맞았다는 뜻이에요. 순서가 반대였으면 지금 깨진 링크 두 개가 떠 있었을 겁니다.

살아남은 두 문서를 열어보니 연결 목록만 바뀌고 "마지막 수정일"은 그대로였습니다. 의도한 대로예요. 내용이 바뀐 게 아니라 연결만 바뀌었으니, 날짜를 건드리면 나중에 "최근에 갱신된 문서"를 찾을 때 헷갈립니다.

"그래서 이거 다 만든 건가요?"

마지막에 이런 질문을 받았습니다.

현재까지 위키는 구축이 완료된 상태인가?

재보니 답이 층에 따라 갈렸습니다.

시스템은 완료에 가깝습니다. 기획서에 적힌 세 단계가 전부 끝났고, 네 번째 단계는 아예 정의돼 있지도 않았어요. 지어야 할 것으로 적힌 건 다 지은 셈입니다.

콘텐츠는 시작 단계입니다. 전사 8편에 문서 39건. 분야 다섯 개 중 하나는 문서가 0건이고요.

재미있었던 건 위키 전체 크기를 재봤을 때입니다. 211KB였는데, 이건 AI가 한 번에 통째로 읽을 수 있는 분량입니다. 지난 편에 검색 기능을 열심히 만들었는데, 아직 검색이 진짜로 필요한 규모가 아니라는 뜻이에요.

시스템이 콘텐츠보다 앞서 있었습니다.

위키가 작은 이유는 도구가 덜 만들어져서가 아니라 넣은 영상이 8편이어서였습니다.

✅ 결과 (After)

Before vs After

숫자가 줄어든 게 성과인 이유

문서가 43건에서 39건으로 줄었습니다. 보통은 늘어난 걸 자랑하는데 이번엔 반대예요.

지워진 4건은 파이프라인이 돌아가는지 시험하려고 제가 직접 만든 가짜 영상 대본에서 나온 것들입니다. 남아 있는 동안 이 위키는 "근거 있는 문서 39건 + 정체불명 4건"이었어요. 겉으로는 구분이 안 됐고요.

지금은 39건 전부가 실제로 누군가 한 말에 닿아 있습니다. 숫자는 줄었지만 위키를 믿고 쓸 수 있게 됐습니다.

대신 AI 분야는 문서가 0건이 됐습니다. 이건 나빠진 게 아니라 숨어 있던 사실이 드러난 것입니다. 애초에 그 분야에는 진짜 근거가 하나도 없었으니까요.

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 자동화를 만들 때 "빼는 방법"도 같이 만들기
   쌓는 기능만 일곱 개를 만들어놓고 빼는 건 하나도 안 만들었습니다. 뭐든 잘못 들어갈 수 있으니, 넣는 경로를 만들 땐 빼는 경로도 같이 생각해야 합니다.

2. 지우기 전에 "이게 뭐랑 연결돼 있나" 먼저 보기
   문서 하나를 지우려는데 다른 문서 두 개가 그걸 가리키고 있었습니다. 폴더에서 파일 하나 지우는 일도 실제로는 연결을 끊는 일일 때가 많습니다.

3. 애매하면 멈추게 만들기
   여러 자료가 합쳐진 문서는 아예 손대지 못하게 막았습니다. 자동화가 어설프게 판단해서 반쯤 지우는 것보다, 멈추고 사람에게 넘기는 게 낫습니다.

4. 왜 지웠는지 반드시 남기게 하기
   사유 없이는 명령이 실행되지 않게 했습니다. 조용히 사라진 자료는 나중에 추적이 안 됩니다.

5. 되돌릴 수 있는지부터 확인하고 지우기
   실행 전에 네 건 모두 복원 가능하다는 걸 확인했습니다. 확인에 30초 걸렸고, 그 덕에 마음 놓고 지웠습니다.

이렇게 하면 안 돼요

1. 기록된 상태를 보고 규칙을 짐작하기
   로그가 커밋돼 있길래 "여긴 로그도 남기는구나" 했는데, 적혀 있는 규칙이 진짜 의도였고 기록된 쪽이 실수였습니다. 명시된 규칙이 관찰된 상태를 이깁니다.

2. 화면에 표시된 것과 실제로 저장되는 것을 같다고 보기
   변경 사항이 화면에 다 보였는데 그중 일부만 저장됐습니다. 표시와 등록은 다른 단계입니다.

3. 채울 수 있다고 채우기
   속독법 5단계는 제가 알고 있어서 적을 수 있었습니다. 적었으면 위키가 한 줄 늘었겠죠. 그런데 그 순간 "여기 적힌 건 전부 근거가 있다"는 약속이 깨집니다. 한 번 섞이면 어디까지가 근거인지 알 수 없습니다.

🌍 다른 업무에 적용한다면?

자료를 모으는 시스템을 만들 땐 빼는 절차도 같이 만드세요. 공유 폴더, 노션, 사내 위키 모두 마찬가지입니다. 넣는 규칙은 다들 정하는데 빼는 규칙은 잘 안 정합니다. 그러다 "이거 누가 왜 올린 거지" 하는 문서가 쌓입니다.

지울 때 "이게 어디에 연결돼 있나"를 먼저 보세요. 문서 하나를 지우면 그걸 참조하던 링크, 목차, 다른 문서의 각주가 같이 깨집니다. 지우기 전에 역방향으로 한 번 훑는 습관이 사고를 막습니다.

시험용 데이터에 표시를 해두세요. 테스트하려고 만든 가짜 자료가 진짜와 섞이는 건 아주 흔한 일입니다. 만들 때 "이건 시험용"이라고 표시해두거나, 아예 다른 곳에 두는 게 낫습니다. 나중에 구분하려면 훨씬 번거롭습니다.

"다 만들었나요?"라는 질문은 층을 나눠 답하세요. 도구는 완성이어도 내용은 시작일 수 있습니다. 둘을 뭉뚱그리면 "왜 아직 쓸 만하지 않지?"라는 답 없는 질문에 갇힙니다.

🚀 앞으로의 계획

이번에 확인한 건 분명합니다. 도구는 더 만들 게 없고, 부족한 건 재료입니다.

그래서 다음은 영상 전사를 더 넣는 일입니다. 채널 후보와 고르는 기준은 이번에 정리해뒀어요. "AI를 무엇에 빗대어 말하는 채널인가"를 기준으로 과학 커뮤니케이션이나 연구자 인터뷰 쪽에서 한두 편 골라 넣을 생각입니다.

지금 근거가 없어 보류 중인 연결이 여러 건 있는데, 그중 몇 개는 자료 한두 편이면 살아날 겁니다. 뇌과학과 AI를 같은 층위로 말하는 영상이 들어오면 특히 그렇고요.

📋 재사용 가능한 프롬프트

프롬프트 1: 자동화에 "빼는 기능" 설계하기

[자동화 도구]에 잘못 들어간 항목을 제거하는 기능을 설계해주세요.

설계 전에 먼저 조사해주세요.

1. 지우려는 항목이 다른 곳에서 참조되고 있는지 (역방향 확인)

2. 지웠을 때 깨지는 것이 무엇인지

3. 결정적으로 분리할 수 없는 경우가 있는지 — 있으면 그건 지우지 말고 멈추게

그리고 삭제 이력을 반드시 남기도록 설계해주세요. 무엇을 왜 지웠는지가
남지 않는 삭제는 허용하지 마세요.

프롬프트 2: 시험용 데이터와 실제 데이터 구분하기

[저장소/폴더]에 시험용으로 만든 가짜 데이터에서 파생된 항목이 섞여 있는지
확인해주세요.

• 각 항목의 출처를 역추적해서 실제 자료 기반인지 시험용인지 분류

• 섞여 있다면 어느 것이 어느 쪽인지 구분할 방법이 있는지 확인

• 구분이 불가능하면 그 사실 자체를 문제로 보고해주세요

프롬프트 3: 오늘은 아무것도 바뀌면 안 되는 수정 검증하기

[수정 내용]을 적용해주세요. 이건 미래 상황에서만 동작이 달라지는 수정입니다.

따라서 최우선 검증은 이것입니다.
현재 데이터에서는 수정 전과 결과가 완전히 동일할 것.

지금 결과가 달라졌다면 문제를 고친 게 아니라 새로 만든 것이므로 실패로
판정하세요. 수정 전 결과를 먼저 기록해두고 비교해주세요.