[뽀둥이 AX ⑥] 아직 안 되는 것들, 고쳤다고 믿은 게 9일째 그대로였어요
2026.09.05
📝 한줄 요약
이 시리즈 제목의 AX는 AI Transformation, 그러니까 "AI로 일하는 방식을 바꾸는 것"을 말해요. 지피터스 사내에서 제가 직접 겪은 기록이에요.
다섯 편에 걸쳐 뽀둥이의 기억·구조·검색·안전장치·지도를 보여드렸어요. 마지막 편은 아직 안 되는 것들이에요. 자랑을 아껴둔 게 아니라, 이 시리즈에서 제일 쓸모 있는 부분이 여기라고 생각해서요.
새는 자리 다섯 군데를 적었고, 그중 둘은 최근에 고쳤고 셋은 지금도 열려 있어요. 고친 것도 어떻게 고쳤는지 같이 적었어요.
바쁘시면 이것만:
- 검사를 다섯 개 만들어 전부 통과시킨 중단 스위치가, 실전에서는 중단 신호를 100% 무시했어요
- ⑤편에서 "이 규칙은 대상이 0건"이라고 찾아냈는데, 9일 뒤에 다시 세어보니 그대로였어요. 발견과 해결은 다른 일이더라고요
- 지도의 고아 노드는 줄기는커녕 192개에서 209개로 늘었어요
- 그래서 다시 시작한다면 순서를 이렇게 잡겠다는 것까지 적어뒀어요. 다섯 편을 다 만들 필요는 없어요
📝 지난 이야기, 그리고 이번 주제
⑤편에서는 뽀둥이의 기억 전체를 점과 선의 지도로 펼쳐서 공개한 이야기를 했어요. 그리고 그 지도에 떠 있던 해골 표시 하나를 따라갔다가, 한 달 전에 만든 규칙이 적용 대상 0건으로 헛돌고 있었다는 걸 발견했죠.
그때 이렇게 썼어요. 만드는 것과 작동하는 것은 다른 일이다.
이번 편은 그 문장을 한 번 더 뒤집는 이야기예요. 발견하는 것과 고치는 것도 다른 일이거든요. ⑤편을 쓰고 9일이 지난 지금 같은 숫자를 다시 세어봤는데, 하나도 안 변해 있었어요.
그래서 마지막 편은 자랑 대신 만들어놓고 실제로는 안 돌던 자리들을 적어요. 다섯 군데인데, 미리 말씀드리면 그중 둘은 최근에 고쳤고 셋은 지금도 열려 있어요.
- 자체 테스트는 통과하는데 실전에서는 안 되던 중단 스위치 (고침)
- ⑤편에서 발견해놓고 9일째 그대로인 규칙 (열림)
- 잘 써둔 정본을 다음 세션이 못 찾는 문제 (열림)
- 화면에 적힌 약속에 실행자가 없던 것 (고침)
- 줄지 않고 오히려 늘어난 지도의 고아 노드 (열림)
그리고 이걸 처음부터 다시 만든다면 어디부터 시작할지를 순서로 정리하면서 시리즈를 닫을게요.
🗺️ 뽀둥이의 메모리 지식구조 한눈에 보기
처음 오신 분을 위한 30초 지도예요. 매 편 상단에 이 지도를 똑같이 두고, 그 편에서 다루는 곳에 ★를 찍어왔어요. 뽀둥이의 기억은 전부 폴더 속 텍스트 파일이고, 크게 여섯 부분이 맞물려 돌아가요.
- 책상 (자동 로드 문서) ★ — 매 대화 시작 때 자동으로 읽는 정체성·규칙·현재 요약본·최근 기록 (②편)
- 서랍·창고 (일별 기록·아카이브) ★ — 하루하루의 작업과 실패 기록, 14일 지나면 자동 보관 (②편)
- 교훈 카드 + 매뉴얼 위키 ★ — 사고의 교훈을 담은 카드와, 반복 검증된 정본 규칙 (①·②편)
- 검색 엔진 ★ — 수백 장 기억에서 필요한 것만 골라 꺼내는 색인·검색 (③편)
- 안전장치 (게이트) ★ — 자동화가 사고 치지 않게 막는 검증·잠금·롤백 (①·④편)
- 지식그래프 ★ — 이 모든 연결을 한 장으로 보여주는 공개 지도 (⑤편)
이번 ⑥편은 ★가 여섯 칸에 전부 찍혔어요. 특정 칸 하나가 아니라 여섯 칸 전부의 뒷면을 보거든요. 각 칸마다 아직 안 되는 게 하나씩 남아 있어요.
🎬 장면: "잠깐 아직 발송하지마"
8월 28일 낮이었어요. 며칠 뒤 열릴 웨비나 홍보를 카카오톡 오픈채팅방에 보내기로 하고, 방 목록과 문구를 정리해서 발송 승인을 넘겼어요. 승인이 넘어간 시각이 12시 47분 3초예요.
1분 27초 뒤인 12시 48분 30초, 제가 슬랙에 이렇게 썼어요. "잠깐 아직 발송하지마."
그리고 12시 52분쯤 발송이 끝났어요. 오픈채팅방 45곳, 2만 6천여 명에게 나갔어요.
중단 요청이 발송 완료보다 3분 30초나 빨랐는데도 아무것도 못 막았어요. 이유는 허무할 만큼 단순해요. 발송을 담당한 에이전트는 방 47곳을 도는 동안 슬랙을 읽지 않거든요. 제 중단 메시지는 발송이 다 끝난 뒤에야 읽혔어요.
카카오톡 오픈채팅 발송은 회수가 안 돼요. 정정이 필요하면 각 방에 정정 안내를 한 번 더 보내는 방법밖에 없고요.

🤔 그런데 왜 마지막 편을 '안 되는 것들'로 잡았을까
④편에서 저는 안전장치 이야기를 꽤 자신 있게 썼어요. 관문을 네 개 세웠고, 검사에 실패하면 아예 멈추게 만들었고, 그 원칙을 fail-closed라고 부른다고요.
그런데 위 장면은 그 안전장치를 다 갖춘 상태에서 일어났어요. 관문은 "잘못된 것을 보내는 일"을 막게 설계돼 있었지, "맞는 걸 보내다가 멈추는 일"은 아예 상정에 없었어요. 안전장치가 고장 난 게 아니라, 그런 경우를 처음부터 안 따져본 거예요.
그래서 사고 당일 오후에 바로 중단 스위치를 설계하기로 하고, 며칠 안에 만들었어요. 발송 루프가 방 하나를 보낼 때마다 슬랙을 확인해서, 정해둔 중단 표시가 올라와 있으면 그 자리에서 멈추는 장치예요.
만들고 나서 검사를 다섯 개 붙였어요. 전부 통과했고요. 저는 이걸로 해결됐다고 생각했어요.
그게 이번 편의 시작이에요. 이 시리즈를 여기까지 읽고 "나도 해볼까" 싶으셨다면, 제가 여기서부터 겪은 것들이 그중 제일 쓸모 있을 거예요. 잘 돌아가는 구조만 보여드리면 따라 하시는 분이 똑같은 벽에 그대로 부딪히거든요.
🚧 새는 자리 ① — 자체 테스트는 통과하는데 실전에서는 안 돼요
만든 코드가 스스로를 확인하게 붙여두는 장치를 자체 테스트(selftest)라고 불러요. 다섯 개를 붙였고 다섯 개 다 통과했어요.
며칠 뒤, 같은 팀의 다른 에이전트가 실제 슬랙에 진짜 중단 신호를 던져봤어요. 이렇게 실제 환경에서 처음부터 끝까지 돌려보는 검사를 e2e 테스트라고 해요.
감지 실패였어요. 다섯 개를 통과하던 스위치가 실전에서는 중단 신호를 100% 무시하고 있었어요. 중단 불능 사고를 막으려고 만든 물건이 그대로 중단 불능이었던 거죠.
④편에서 "검사에 실패하면 아예 멈춘다"는 fail-closed 원칙을 이야기했는데, 이 스위치는 정반대였어요. 뭔가 잘못돼도 그냥 지나가는 쪽, fail-open이었거든요. 그래서 고장 났다는 신호조차 안 났어요.
원인 하나 — 이모지가 제 손을 떠나면 다른 글자가 돼요
중단 표시로 정지 이모지(🛑)를 쓰기로 했어요. 사람이 그 이모지를 슬랙에 입력하잖아요. 그런데 슬랙 서버는 그걸 저장할 때 :octagonal_sign: 같은 짧은 이름 형태로 바꿔서 보관해요.
제 코드는 이모지 문자 그대로를 찾고 있었고, 서버가 돌려주는 건 짧은 이름이었어요. 영원히 안 맞아요.
그럼 자체 테스트는 이걸 왜 못 잡았을까요. 검사에 넣는 가상의 입력값을 가짜 입력(mock)이라고 하는데, 그 가짜 입력을 제가 직접 만들었거든요. 저는 당연히 이모지 문자를 넣었고, 코드는 그걸 잘 찾아냈어요.
그러니까 그 검사는 코드를 검증한 게 아니라 제 예상을 검증한 거예요. 제가 상상한 입력에 대해서만 정답이었던 거죠.
원인 둘 — 감시하던 곳에 신호가 안 들어와요
두 번째는 더 허탈해요. 슬랙에서 채널의 메시지 목록을 가져오는 기능은 스레드 답글을 돌려주지 않아요.
그런데 저희 팀은 채널에 글을 올리고 그 아래 스레드로 대화하는 게 규칙이에요. 즉 중단 신호는 거의 항상 스레드에 올라오는데, 제 감시기는 채널 본문만 보고 있었어요. 실제로 세어보니 채널 본문은 50건인데 스레드 답글까지 합치면 75건이더라고요. 25건을 통째로 못 보고 있었어요.
이건 고쳤어요 — 다만 절반만
두 원인 다 며칠 안에 고쳤어요. 이모지는 서버가 돌려주는 형태까지 맞춰서 찾게 했고, 스레드 답글도 같이 가져오게 바꿨어요. 실제 슬랙에 신호를 던지는 e2e 테스트로 다섯 가지 경우를 확인했고요.
그런데 완전히 막지는 못해요. 발송 루프가 다섯 방마다 슬랙을 확인하는 구조라, 이번 사건 기준으로 계산해보면 스무 번째 방쯤에서 신호를 잡아요. 47방 중 남은 27방은 멈출 수 있지만 이미 나간 20방은 그대로예요. 회수가 안 되는 발송에서 "절반은 막는다"가 어떤 위안인지는 잘 모르겠어요.
💡 여기서 배운 것 — 외부 시스템의 응답을 읽는 코드는 자체 테스트만으로 완료라고 하면 안 돼요. 가짜 입력은 결국 제가 쓰는 거라서, 제가 모르는 형태는 영원히 안 들어가거든요. 실제 응답을 한 번이라도 받아서 그 원본을 검사에 박아두거나, e2e 테스트를 한 번은 돌려봐야 해요. 저희는 이걸 팀 규칙으로 만들었어요. 외부 시스템을 읽는 부분은 실호출 한 번이 없으면 완료 선언 금지로요.

🚧 새는 자리 ② — 발견해도 안 고쳐져요
이게 이번 편에서 제일 뼈아픈 부분이에요.
⑤편에서 이런 이야기를 했어요. 틀렸다고 판명된 문서는 지우지 않고 폐기 표시를 붙여서 검색 순위를 절반으로 깎는 규칙이 있는데, 이걸 강등(superseded)이라고 부르고요. 그런데 세어보니 폐기 표시가 붙은 문서가 전체에 딱 하나였고, 그 하나마저 검색 색인 범위 밖에 있어서 실제 적용 대상이 0건이었어요.
⑤편을 발행하고 9일이 지난 오늘, 같은 걸 다시 세어봤어요.
여전히 1건이에요. 하나도 안 늘었어요.
문서끼리 "이게 저걸 대체한다"고 걸어두는 관계도 마찬가지예요. ⑤편에서 0건이라고 했고, 그때 3건으로 보였던 건 규약을 설명하는 문서에 제가 예시로 적어둔 문장이 잘못 잡힌 거였어요. 오늘 다시 세어보니 여전히 그 3개 문서뿐이에요. 실제 관계는 그때나 지금이나 0건이고요.
왜 안 고쳐졌을까
변명하자면 9일 동안 다른 일이 많았어요. 그런데 그건 이유가 아니라 증상이에요.
진짜 이유는 이거예요. ⑤편에서 저는 문제를 "발견"했지, 고칠 사람을 정하지도 기한을 붙이지도 않았어요. 글로 잘 정리해뒀으니 해결된 것 같은 기분이 들었고, 그 기분이 실제 상태를 가렸어요.
한 번 더 솔직하게 적으면, 강등 규칙은 사람이 표시를 붙여야 작동하는 종류예요. 실무에서 틀린 기록을 만나면 표시를 붙이기보다 그냥 맞는 내용으로 고치게 되거든요. 그게 빠르니까요. 그러면 표시를 붙일 일이 안 생겨요. ⑤편에서 이걸 가설로 적었는데, 9일이 지난 지금 결과는 그 가설 쪽에 가까워요.
같은 일이 반대 방향으로도 일어나요
②편에서 약속한 게 하나 있어요. 승격 대기줄 이야기인데요, 교훈 카드 중 정본 규칙으로 올릴 후보를 기계가 모아두면 제가 검토해서 승격시키는 줄이에요. 그때 이렇게 썼어요. "사람이 주기적으로 비워주지 않으면 멈추는 구조라서, 이 얘기는 ⑥편에서 다시 하겠다"고요.
②편을 쓰던 때 대기가 8건이었어요. 오늘 세어보니 15건이에요.
강등 규칙은 사람이 표시를 안 붙여서 0건에 머물렀고, 이 대기줄은 사람이 안 비워서 15건으로 쌓였어요. 방향만 반대고 원인은 같아요. 둘 다 사람의 성실함을 전제로 설계한 자리예요.
💡 여기서 배운 것 — 문제를 발견하면 그 자리에서 고칠 사람과 다음에 다시 셀 날짜를 같이 정해야 해요. 안 그러면 발견 자체가 완료처럼 느껴져요. 그리고 사람의 성실함에 기대는 규칙은 0건에 머물거나, 반대로 쌓이기만 해요. 사람이 표시를 안 붙이는 게 게을러서가 아니라 더 빠른 길이 옆에 있어서거든요. 그럴 땐 규칙을 다그칠 게 아니라, 표시를 붙이는 게 제일 빠른 길이 되게 만들어야 해요.

🚧 새는 자리 ③ — 잘 써둔 정본을 다음 세션이 못 찾아요
③편에서 검색 이야기를 했어요. 흔한 단어는 낮게 드문 단어는 높게 쳐서 점수를 매기는 계산법인 BM25를 포함해 다섯 신호를 합쳐 문서를 찾는다고요.
그런데 이 검색에 구조적인 약점이 하나 있어요. 문서가 길수록 순위에서 밀려요.
BM25는 문서 길이로 점수를 나눠요. 짧은 문서에서 어떤 단어가 세 번 나오는 것과 긴 문서에서 세 번 나오는 것을 같게 치면 안 되니까요. 검색 품질 면에서는 맞는 설계예요.
문제는 저희 정본 문서가 대개 길다는 거예요. 발행 절차를 총정리한 문서 하나가 30KB쯤 되는데, 정확히 그 이유로 검색 결과에서 계속 밀려요. 제일 중요한 문서가 제일 안 찾아지는 상태인 거죠.
이게 왜 심각하냐면, 뽀둥이는 대화가 새로 시작될 때마다 필요한 문서를 검색해서 꺼내 읽거든요. 못 찾으면 그 문서는 없는 것과 같아요. 만들어둔 규칙이 다음 세션에서 안 읽히면 ⑤편의 「0건 규칙」과 정확히 같은 상태가 돼요.
이건 아직 안 풀었어요. 지금은 자주 쓰는 항목만 짧은 진입점 문서로 따로 빼두는 임시 방법을 쓰고 있는데, 근본 해결은 아니에요. 문서를 조각으로 쪼개서 색인하는 방향이 정석인데 그건 검색 구조를 다시 짜야 해서 아직 손을 못 댔어요.

💡 여기서 배운 것 — 검색 엔진의 설계 특성이 운영 습관과 정면으로 부딪히기도 해요. 저희 경우는 "정본은 한 파일에 모은다"는 습관과 "긴 문서는 밀어낸다"는 검색 규칙이 서로 반대 방향이었어요. 어느 한쪽이 틀린 게 아니라서 더 어려워요.
🚧 새는 자리 ④ — 화면에 적힌 약속에 실행자가 없었어요
이건 며칠 전에 잡은 건데, 종류가 좀 달라서 같이 적어요.
스터디 신청자를 짝지어주는 화면을 만들면서, 1차 통과한 분에게 "운영진이 확인 후 연락처를 전달해 드립니다"라고 안내 문구를 넣었어요. 화면에는 그렇게 적혀 있었고요.
그런데 그 운영진을 깨우는 코드가 없었어요. 1차 통과가 되면 알림이 가서 누군가 처리해야 하는데, 그 알림을 보내는 부분이 아예 안 만들어져 있었어요. 화면은 약속했고, 시스템은 그 약속을 지킬 준비가 안 돼 있었던 거예요.
오류가 나지 않아요. 테스트도 통과해요. 화면도 정상으로 보여요. 아무도 안 오는 것 말고는 아무 증상이 없어요.
이건 이틀 전에 고쳤어요
고치는 방향이 예상과 달랐어요. 처음엔 "운영진을 깨우는 알림을 붙이자"고 생각했는데, 실태를 보니 현장이 이미 그 단계를 건너뛰고 있었어요. 1차 통과를 누른 건수도 연락을 마친 건수도 0인데 최종 확정은 3건이었거든요. 설계한 순서 자체가 안 돌고 있었던 거예요.
그래서 알림을 붙이는 대신 1차 통과를 누르면 검토 화면에 연락처가 바로 뜨게 바꿨어요. 사람을 깨울 필요가 없어졌으니까요. 지원할 때 받은 동의 항목이 근거고, 정해둔 단계가 아니면 서버가 아예 값을 안 담아요. 화면에서 가리는 게 아니라요.
💡 여기서 배운 것 — 화면에 "운영진이 처리합니다" 같은 문구를 쓸 때는, 그 운영진을 실제로 깨우는 장치가 코드 안에 있는지 반드시 확인해야 해요. 사람이 알아서 눈치채야 하는 단계는 조용히 죽어요. 그리고 조용히 죽기 때문에 몇 주씩 안 들켜요.
🚧 새는 자리 ⑤ — 지도의 고아 노드는 줄지 않았어요
⑤편에서 지도를 펼쳤을 때 문서 757개 중 192개가 아무 데도 안 이어져 있었어요. 이렇게 연결이 하나도 없는 점을 고아 노드(orphan node)라고 부른다고 했죠. 그때 25.4%였어요.
오늘 다시 재봤어요. 이번 편 숫자는 전부 2026년 9월 5일 오후 3시 55분 기준으로 파일을 하나 떠서 고정해둔 값이에요. 살아 있는 지도라 재는 순간마다 달라지거든요. ⑤편에서 배운 방식이에요.
문서는 787개로 늘었고, 서로를 가리키는 선은 1,943개예요. 그리고 고아 노드는 209개, 26.6%예요.
늘었어요. 비율로도 늘었고요.
그런데 이 총계만 보면 진짜 문제가 가려져요. ⑤편에서 고아 노드를 네 종류로 나눴잖아요. 운영 로그·등록부·보관 문서는 원래 안 이어져도 되는 것들이고, 어디에도 안 걸렸고 왜 그런지 설명도 안 되는 것만 진짜 개선 대상이라고요. 그게 ⑤편 때 6개였어요.
오늘 같은 분류기로 다시 돌려봤어요. 13개예요. 비율로도 0.8%에서 1.7%로 두 배가 넘어요.
늘어난 17개의 내역을 보면 대부분은 자동으로 쌓이는 운영 로그예요. 그러니까 "억지로 잇지 않아서 총계가 안 줄었다"가 아니라, 안 이어도 되는 게 계속 생겨 총계가 늘었고 그 뒤에서 진짜 대상이 조용히 두 배가 됐다가 맞아요.
여기서 제일 부끄러운 게 있어요. ⑤편에서 제가 이렇게 썼거든요. "재분류로 얼마든지 숨길 수 있으니 두 숫자를 항상 같이 보라"고요. 그래놓고 저는 9일 동안 둘 다 안 봤어요. 이번 편을 쓰면서 세어보고 처음 알았어요.
그리고 "억지로 잇지 말자"까지만 정하고 "그럼 무엇을 하자"는 안 정했어요. 억지로 잇지 않기로 한 판단은 지금도 맞다고 봐요. 링크는 실제로 관련 있다는 신호인데, 숫자를 좋게 하려고 억지로 걸면 그 신호가 거짓말이 되고 검색까지 오염되니까요. 다만 하지 않기로 한 자리에 아무것도 안 넣어뒀어요.
💡 여기서 배운 것 — "하지 말자"는 결론은 실행 항목이 아니에요. 하지 않기로 한 다음에 대신 무엇을 할지를 같이 정해두지 않으면, 그 자리는 그냥 비어 있게 돼요. 이번 편 ②번과 완전히 같은 실패고, 저는 9일 사이에 같은 실수를 두 번 한 거예요.

🔍 다섯 개를 늘어놓고 보니 공통점이 하나 있었어요
여기까지 쓰고 다시 읽어보니 다섯 개가 다 달라 보이는데 뿌리는 같았어요. 전부 "만들어둔 것"과 "실제로 도는 것" 사이가 벌어진 자리예요.
중단 스위치는 만들어졌지만 신호를 못 받았어요. 강등 규칙은 만들어졌지만 대상이 0건이었어요. 정본 문서는 잘 써뒀지만 검색이 못 찾아요. 안내 문구는 화면에 있었지만 깨울 사람이 없었어요. 지도는 그렸지만 그 뒤에 뭘 할지가 비어 있었어요.
첫째와 넷째는 고쳤고 나머지 셋은 지금도 열려 있어요. 그런데 고친 둘도 처음엔 나머지 셋과 똑같이 안 보였어요. 누가 실제로 신호를 던져보고, 실태를 세어보고 나서야 드러났죠.
다섯 개 전부 "만드는 단계"에서는 성공했고 "도는 단계"에서 실패했어요.
그런데 만드는 건 눈에 보이고 도는 건 안 보여요. 코드를 짜면 파일이 생기고 커밋이 남고 뿌듯하잖아요. 그게 실제로 돌고 있는지는 일부러 세어보지 않으면 영영 몰라요. 게다가 아무 오류도 안 나요. 이 다섯 개 중에 사람 눈에 띈 오류는 하나도 없었어요.
④편에서 "기록을 남기는 것과 알려주는 것은 다른 일"이라고 썼고, ⑤편에서 "만드는 것과 작동하는 것은 다른 일"이라고 썼는데, ⑥편에서 하나 더 붙이게 됐어요. 발견하는 것과 고치는 것도 다른 일이에요.

🧭 다시 시작한다면 이 순서로 하겠어요
여기까지 읽고 "그래서 뭘 하면 되나" 싶으실 것 같아요. 여섯 개를 다 만드실 필요는 전혀 없어요. 저도 여섯 개를 한 번에 만든 게 아니라 사고가 날 때마다 하나씩 붙인 거예요. 아래 순서에서는 검색과 지도를 한 단계로 묶어서 다섯 단계로 정리했어요.
다시 처음부터 한다면 이 순서로 하겠어요. 제 체감으로는 앞의 두 개에서 효과가 거의 다 나왔어요.
1단계 · 교훈 카드 한 장부터 — 도구가 하나도 필요 없어요. AI한테 일을 시키다가 사고가 나면 그날 바로 "무슨 일이 있었고 다음엔 어떻게 한다"를 텍스트 파일 한 장으로 적어두는 거예요. ①편에서 다룬 그 카드예요. 제 체감으로는 이것만으로도 같은 사고가 되풀이되는 게 눈에 띄게 줄었어요.
2단계 · 매번 읽히는 자리 만들기 — 그 카드들이 쌓이면 그중 자주 쓰는 규칙만 골라서, 대화를 시작할 때마다 AI가 자동으로 읽는 문서에 넣어요. ②편의 책상이에요. 1단계가 기록이면 2단계가 적용이고, 여기서 처음으로 효과가 체감돼요.
3단계 · 세어보는 습관 — 도구를 더 만들기 전에 이걸 먼저 하시면 좋겠어요. 규칙을 하나 만들 때마다 "지금 이 규칙에 걸리는 게 몇 건인가"를 세어보는 거예요. 0건이면 규칙이 없는 것과 같아요. 이번 편의 절반이 이걸 안 해서 생긴 일이에요.
4단계 · 안 되는 걸 막는 장치 — 절대 건드리면 안 되는 파일을 정하고, 자동 작업 전에 확인할 항목을 정하고, 실패하면 멈추게 만들어요. ④편의 게이트예요. 자동으로 도는 작업이 생기기 시작할 때 붙이면 돼요. 그 전에는 과해요.
5단계 · 검색과 지도 — 문서가 100개를 넘고 서로 링크가 걸려 있을 때부터 의미가 생겨요. ③편과 ⑤편이에요. 저는 이걸 꽤 일찍 만들었는데, 돌아보면 3단계 습관이 먼저였어야 했어요.
한 가지만 덧붙이면, 각 단계를 만든 다음에 "이게 실제로 도는지" 확인하는 절차를 같이 붙이세요. 이번 편 전체가 그 확인을 빼먹어서 생긴 이야기예요.

💡 따라 하실 분을 위한 팁 세 가지
- 검사를 만들 때 "이 입력값을 누가 만들었나"를 물어보세요 — 제가 만든 가짜 입력으로 하는 검사는 제 예상만 검증해요. 외부 시스템의 응답을 읽는 코드라면 실제 응답을 한 번 받아서 그 원본을 검사에 박아두세요. 이번 편의 중단 스위치는 그 한 번을 안 해서 실전에서 100% 무시됐어요
- 문제를 발견하면 그 자리에서 "누가·언제까지·언제 다시 셀지"를 같이 적으세요 — 저는 ⑤편에서 문제를 아주 잘 정리해뒀고, 그래서 해결된 기분이 들었어요. 9일 뒤에 다시 세어보니 하나는 그대로였고, 하나는 두 배가 돼 있었어요. 잘 쓴 기록은 해결처럼 느껴져서 오히려 위험해요
- "하지 말자"로 끝내지 말고 "대신 이걸 하자"까지 정하세요 — 고아 노드를 억지로 잇지 않기로 한 판단은 지금도 맞다고 봐요. 그런데 대신 할 일을 안 정해서 그 자리가 9일간 비어 있었어요. 하지 않기로 한 결론에는 실행 항목이 하나도 안 들어 있어요

❓ 이런 게 궁금하실 것 같아요
Q. 안 되는 걸 이렇게 공개해도 괜찮나요?
저는 이게 이 시리즈에서 제일 값나가는 부분이라고 생각해요. 잘 돌아가는 구조만 보여드리면 따라 하시는 분이 똑같은 벽에 그대로 부딪히거든요. 그리고 실무에서 AI를 붙여보신 분들은 이미 아실 거예요. 잘 되는 날보다 안 되는 날이 훨씬 많다는 걸요.
Q. 이 정도로 손이 많이 가면 그냥 사람이 하는 게 낫지 않나요?
경우에 따라 정말 그래요. 한 번만 하는 일, 판단이 매번 다른 일은 사람이 하는 게 빨라요. 이 구조가 값을 하는 건 같은 종류의 일이 반복되고, 실수하면 회수가 안 되는 일이에요. 이번 편의 카톡 발송이 딱 그렇죠. 한 번 나가면 못 되돌리니까요.
Q. 자체 테스트가 못 잡는 걸 매번 e2e 테스트로 확인하려면 너무 번거롭지 않나요?
전부 그럴 필요는 없어요. 저희가 정한 기준은 "외부 시스템의 응답을 읽는 부분"이에요. 그 부분만 실제로 한 번 호출해서 응답 원본을 받아두면, 그 뒤로는 그 원본을 가지고 검사해도 돼요. 매번 실전을 돌리는 게 아니라 처음 한 번이에요.
Q. 시리즈는 여기서 끝인가요?
여섯 편으로 한 묶음은 여기서 닫아요. 기억·구조·검색·안전장치·지도, 그리고 한계까지 한 바퀴는 돌았으니까요. 다만 이번 편에 적은 것들이 언젠가 풀리면 그때 다시 쓸게요. 강등 규칙이 0건을 벗어났는지, 승격 대기줄 15건이 줄었는지, 설명 안 되는 고아 13개가 어떻게 됐는지는 다음에 셀 때 말씀드릴 수 있을 거예요.
🚀 마무리 — 여섯 편을 닫으며
①편에서 5월의 검수 사고로 시작했어요. 뽀둥이가 제 확인 없이 검수 19건을 확정해버린 날이었죠. 그날 "다음부터는 꼭 확인받고 진행해"라고 말했고, 다음 대화에서 그 다짐이 사라진다는 걸 알고 있었어요.
여섯 편 동안 그 다짐을 사라지지 않게 만드는 방법을 하나씩 붙였어요. 카드로 적고, 매번 읽히게 하고, 찾을 수 있게 하고, 어기면 멈추게 하고, 전체를 지도로 펼쳤어요.
그리고 마지막 편에서 확인한 건, 그렇게 다 붙여놔도 여전히 새는 곳이 있다는 거예요. 아마 계속 그럴 거고요.
그래도 5월과 지금은 확실히 달라요. 그때는 사고가 나면 반성으로 끝났는데, 지금은 사고 하나가 카드가 되고 규칙이 되고 장치가 돼요. 완벽해진 게 아니라, 사고 하나가 반성으로 끝나지 않고 카드·규칙·장치 중 하나로는 남게 됐어요. 이번 편에 적은 다섯 개도 그렇게 처리될 거예요. 이 글 자체가 그 첫 단계고요.
읽어주셔서 고맙습니다.
📋 재사용 가능한 프롬프트
프롬프트: 내가 만든 검사가 진짜 검사인지 점검하기
내가 만든 자동 검사(테스트)들을 점검해줘. 순서대로 진행해:
① 각 검사가 쓰는 입력값이 어디서 왔는지 분류해줘 — "내가 직접 적은 값" / "실제 시스템에서 받아온 값"
② 외부 시스템(API·웹·DB)의 응답을 읽는 코드를 전부 찾아줘
③ ②번 중에서 검사 입력값이 "내가 직접 적은 값"뿐인 것만 따로 뽑아줘
— 이게 실전에서 깨질 위험이 제일 높은 목록이야
④ ③번 각각에 대해, 실제 응답을 한 번 받아서 원본으로 저장하는 방법을 알려줘
아직 코드를 고치지는 마. 목록과 방법만 먼저 보여줘.
프롬프트: 발견해놓고 안 고친 것 찾아내기
내 작업 기록에서 "문제를 발견했다고 적어놓고 그 뒤에 고쳤다는 기록이 없는 것"을 찾아줘:
① 최근 기록에서 문제·결함·한계를 발견했다고 적은 대목을 전부 뽑아줘
② 각각에 대해 그 뒤에 해결·수정·완료했다는 기록이 있는지 확인해줘
③ 해결 기록이 없는 것만 목록으로 만들고, 발견한 지 며칠 지났는지 같이 적어줘
④ 그중 지금도 실제로 그 상태인지 직접 확인할 수 있는 것은 확인해서 알려줘
— 확인 방법을 먼저 알려주고, 내가 동의하면 진행해
아직 아무것도 고치지 마. 확인만 해줘.우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.



