[뽀둥이 AX ①] 실패를 시스템으로 바꾸는 3단 배선

📝 한줄 요약

같은 실수를 반복하던 제 전용 AI 에이전트 '뽀둥이'에게, 실수를 교훈 카드 → 정본 매뉴얼 → 프로그램 잠금장치의 3단으로 굳히는 기억 구조를 만들어줬어요. 이제 같은 유형의 사고는 AI가 기억을 잘해서가 아니라, 컨펌 표시 없이 실행하면 프로그램이 먼저 멈춰서 안 나요.

바쁘시면 이것만:

AI가 같은 실수를 반복하는 건 멍청해서가 아니라, 컨텍스트 윈도우(대화 한 판) 밖을 기억하지 못해서예요
해결: 사고 당일 교훈 카드(무슨 일·왜·다음엔) → 검증된 것만 위키 승격 → 가장 비싼 규칙은 코드 게이트로
자동 작업이 안전장치에 걸려 차단·롤백된 기록 27건 — 문서가 아니라 구조가 막아요
측정 안 한 성과 수치는 쓰지 않았어요

📝 이 시리즈를 시작하며

제 맥북에는 저만을 위해 일하는 전용 AI 에이전트 '뽀둥이'(OpenClaw 기반)가 살고 있어요. 에이전트(agent)는 질문에 답만 하는 챗봇과 달리, 파일을 읽고 쓰고 도구를 다루면서 실제 작업을 스스로 실행하는 AI를 말해요. 페르시안 고양이 컨셉의 이 녀석에게 웨비나 운영이나 리워드 발송, 아침 업무 보고 같은 마케팅 실무를 맡기고 있죠. 말 그대로 제 업무 파트너예요.

[나의 전용 AI 에이전트 뽀둥이] 시리즈는 뽀둥이한테 지식구조와 메모리 시스템을 만들어주면서 배운 걸 한 편에 핵심 주제 하나씩 담는 연재예요. 각 편마다 "무슨 문제가 있었고 → 어떤 구조로 해결했고 → 업무가 어떻게 달라졌는지"를 따라갈 수 있게 썼어요. 순서대로 읽으면 에이전트 메모리 시스템 하나가 완성되는 흐름이에요.

① 실패를 시스템으로 (이 글) — 사고 하나가 기록→규칙→잠금장치로 굳는 3단 배선
② 기억이 사는 집 — 메모리는 어디에 쌓이나: 책상·서랍·창고 구조
③ 벡터 임베딩, 만들어보고 껐습니다 — 유행 대신 측정으로 고른 검색
④ 자동화의 안전벨트 — 자동화를 어디까지 믿나: 검증 게이트와 자동 롤백
⑤ 한눈에 보는 기억 지도 — 공개 지식그래프, 그리고 요즘 AI 용어 5개
⑥ 아직 안 되는 것들 — 한계와 다음 계획, 작게 시작하는 법

🗺️ 뽀둥이의 메모리 지식구조 한눈에 보기

처음 오신 분을 위한 30초 지도예요. 매 편 상단에 이 지도를 똑같이 두고, 그 편에서 다루는 곳에 ★를 찍어둘게요. 뽀둥이의 기억은 전부 폴더 속 텍스트 파일이고, 크게 여섯 부분이 맞물려 돌아가요.

책상 (자동 로드 문서) — 매 대화 시작 때 자동으로 읽는 정체성·규칙·현재 요약본·최근 기록 (②편)
서랍·창고 (일별 기록·아카이브) — 하루하루의 작업과 실패 기록, 14일 지나면 자동 보관 (②편)
교훈 카드 + 매뉴얼 위키 ★ — 사고의 교훈을 담은 카드와, 반복 검증된 정본 규칙 (①·②편)
검색 엔진 — 수백 장 기억에서 필요한 것만 골라 꺼내는 색인·검색 (③편)
안전장치 (게이트) ★ — 자동화가 사고 치지 않게 막는 검증·잠금·롤백 (①·④편)
지식그래프 — 이 모든 연결을 한 장으로 보여주는 공개 지도 (⑤편)

이번 ①편은 ★ 찍힌 3번(카드→매뉴얼)과 5번(잠금장치), 그러니까 "실패가 어떻게 시스템이 되는가"를 다뤄요.

🎬 장면 하나: 5월의 식은땀

5월 중순이었어요. 웨비나 후기 리워드 검수를 뽀둥이한테 맡겼어요. 참가자 후기 수십 건을 읽고 리워드를 줄 후기와 제외할 후기를 가려내는 일이에요. 저는 "검수해줘" 한마디를 던졌고 잠시 뒤 돌아온 보고를 보고 굳었어요.

뽀둥이가 검수 결정 19건을 제 확인 없이 그대로 확정하고, 리워드 안내 메일 테스트 발송까지 끝내둔 거예요. 결과 자체는 크게 틀리지 않았어요. 그런데 만약 판정이 틀렸다면? 회원분들한테 잘못된 안내가 나갈 뻔했죠.

그날 뽀둥이한테 말했어요. "다음부터는 꼭 확인받고 진행해." 뽀둥이는 알겠다고 했고요. 그리고 저는 알고 있었죠. 다음 대화를 열면 이 다짐은 사라진다는 걸요.

🤔 문제 정의: 왜 AI는 같은 실수를 반복할까

AI와 일해본 분들은 다 겪는 일이에요. 분명 지난주에 알려줬는데 새 대화를 열면 처음 보는 사람처럼 굴죠. AI가 멍청해서가 아니에요. LLM(챗GPT 같은 AI의 기반이 되는 대규모 언어 모델)의 기억은 기본적으로 컨텍스트 윈도우(context window), 그러니까 "지금 열려 있는 대화 한 판에 담긴 내용"이 전부거든요. 대화가 닫히면 그 안에서 배운 것도 같이 닫혀요. 게다가 한 판에 담을 수 있는 양 자체도 한정돼 있고요.

실제로 뽀둥이도 그해 봄 내내 비슷한 사고를 쳤어요.

4월: 수정한 이메일을 테스트 발송 없이 전체 발송 → 같은 메일이 두 번 나감
4월: 예약 자동화(크론 작업)가 컨펌 없이 외부 게시판에 글을 올림
5월: 위의 검수 사고

셋의 공통점이 보이시나요? 전부 "확인 절차를 건너뜀"이라는 같은 뿌리에서 나온 사고예요. 사람은 한 번 크게 데이면 몸이 기억하잖아요. AI한테는 그 "몸의 기억"에 해당하는 걸 구조로 만들어줘야 했어요.

🧭 그런데 왜 '지식구조'까지 설계해야 할까

처음엔 저도 간단하게 접근했어요. "중요한 건 문서에 적어두고 매번 읽게 하자." 그런데 몇 주 만에 세 가지 벽에 부딪혔어요.

벽 1 — 쌓이기만 하고 못 찾아요. 기록이 수십 장을 넘어가니 AI가 어떤 문서를 읽어야 할지 몰라요. 전부 읽히자니 컨텍스트 윈도우가 모자라고요. 기억에는 '보관 위치'와 '찾는 방법'이 필요했어요.

벽 2 — 틀린 기록이 정답 행세를 해요. AI가 남긴 기록에는 오판도 섞여요. 검증 없이 쌓기만 하면 잘못된 기억이 다음 작업의 근거가 돼요. 기억에는 '신뢰 등급'과 '검증 절차'가 필요했어요.

벽 3 — 기록해도 행동이 안 바뀌어요. "컨펌받고 진행"이라고 적어놔도 문서는 읽고 지나칠 수 있어요. 가장 중요한 규칙은 문서가 아니라 '구조'로 강제해야 했어요.

이 세 가지 벽이 '그냥 메모'와 '지식구조'의 차이예요. 지식구조란 기억을 어디에 두고(저장), 어떻게 찾고(검색), 무엇을 믿고(검증·승격), 어떻게 강제할지(잠금장치)까지 설계한 체계를 말해요. 위의 "한눈에 보기" 지도 여섯 칸이 정확히 이 설계의 결과물이고, 시리즈가 한 편씩 그 기둥을 다뤄요.

그래서 이번 편의 핵심 주제는 이거예요. 실패를 일회성 반성으로 끝내지 않고 시스템에 새겨 넣는 3단 배선.

🏗️ 해결 구조: 실패가 시스템이 되는 3단 배선

전체 그림부터 볼게요. 사고 하나가 아래 3단을 차례로 거치면서 점점 단단해져요.

1단 · 회고 노트 = 교훈 카드 — 사고 당일 뽀둥이가 즉시 쓰는 마크다운(서식을 일반 텍스트로 표현하는 문서 형식) 문서 1장
2단 · 업무 매뉴얼 = 정본 위키 — 반복 검증된 교훈만 올라가는 정본 규칙 문서. 후보는 기계가 제안하고 승격 결정은 사람이 해요
3단 · 출입문 잠금장치 = 코드 게이트 — 규칙을 프로그램 절차 자체에 심은 안전장치. 사람이 설계해요

이제 한 단씩, 5월의 검수 사고가 실제로 이 3단을 어떻게 거쳤는지 따라가 볼게요.

1단 — 문제: 다짐이 증발한다 → 해결: 그날 바로 '교훈 카드'를 쓴다

사고가 나면 뽀둥이는 그날 안에 교훈 카드를 한 장 만들어요. 그냥 마크다운 텍스트 문서인데 형식이 정해져 있어요. 세 칸을 반드시 채워야 해요.

무슨 일이 있었나 — 사실만. "테스트 없이 바로 재발송해서 같은 메일이 두 번 나갔다"
왜 발생했나 — 근본 원인. "템플릿을 수정했는데 '아까 테스트했으니 됐다'고 판단했다"
다음엔 어떻게 — 행동 규칙 한 줄. "한 글자라도 바뀌었으면 무조건 테스트부터"

포인트는 "무엇을 했다"가 아니라 "왜 틀렸고 다음엔 어떻게"예요. 결과만 적힌 기록은 나중에 읽어도 쓸모가 없더라고요. 이유가 있어야 다음 판단의 재료가 돼요. 이런 카드가 지금 138장 쌓였고 파일 이름이 곧 제목이라 찾기도 쉬워요. 카드가 어디에 어떻게 보관되는지는 ②편에서 자세히 다룰게요.

💡 여기서 배운 것 — AI가 실수하면 혼내는 대신, 그날 안에 '무슨 일·왜·다음엔' 세 칸짜리 카드를 쓰게 했어요. 반성문이 아니라 다음 작업의 부품을 만드는 거예요. 혼내는 건 그 대화가 닫히면 사라지지만, 카드는 남거든요.

2단 — 문제: 카드가 쌓이기만 하면 일기장이다 → 해결: 검증된 것만 '매뉴얼'로 승격

카드가 아무리 많아도 그대로면 일기장이에요. 그래서 두 번째 단이 있어요. 카드 중에서 여러 작업에서 반복 확인됐고, 내용이 안정적이고, 매번 필요한 것만 골라 정본 규칙 문서(위키)로 승격해요.

5월 검수 사고의 교훈 "검수 결정은 반드시 사람 컨펌 후 적용"도 이렇게 승격됐어요. 웨비나 운영 규칙을 모아둔 위키 문서에 정식 규칙으로 올라갔죠. 여기서 중요한 게 출처 연결이에요. 이 규칙이 어느 날짜의 어떤 사고 카드에서 왔는지 링크가 남아 있어서, "이 규칙 왜 있더라?" 싶으면 원래 사고까지 거슬러 올라갈 수 있어요.

승격 후보를 고르는 건 기계가 도와요. 자주 참조되는 카드를 자동으로 골라 "이거 매뉴얼로 올릴까요?" 하고 대기줄(리뷰 큐)에 올려두면, 올릴지 말지는 전부 사람이 결정해요. 잘못된 교훈이 매뉴얼로 굳는 걸 막는 문이에요.

💡 여기서 배운 것 — 카드와 매뉴얼을 나눈 이유는 신뢰 등급이에요. 한 번 겪은 일과 여러 번 검증된 일은 무게가 다르니까요. 후보 선별은 기계가, 승격 결정은 사람이 — 이 역할 분담을 휴먼 인 더 루프(human-in-the-loop)라고 불러요.

3단 — 문제: 문서는 어길 수 있다 → 해결: 규칙을 코드에 심는다 (잠금장치)

여기가 이 구조의 심장이에요. 규칙이 문서로만 있으면 AI는 언젠가 또 어겨요. 문서는 "읽고 따르는" 거라 판단이 끼어들 틈이 있거든요. 그래서 가장 비싼 규칙은 프로그램 절차 자체에 심었어요.

웨비나 리워드 발송의 마지막 단계에는 확정 스크립트가 있어요. 5월 사고 이후 이 스크립트는 실행할 때 "사람 컨펌을 받았다"는 표시를 요구하도록 바뀌었어요. 표시 없이 실행하면 그대로 멈추면서 안내가 떠요. "사람 컨펌 누락 — ① 검수 내용을 보고하고 ② 명단과 사유를 컨펌받고 ③ 그다음 다시 실행하세요."

이런 설계를 fail-closed라고 불러요. 확신이 없으면 진행하지 말고 멈추라는 원칙이에요. 이제 같은 유형의 사고는 뽀둥이가 기억을 잘해서 안 나는 게 아니에요. 컨펌 표시가 없으면 그 단계에서 멈춰서 안 나요. 회고 노트(1단)가 업무 매뉴얼(2단)이 되고, 매뉴얼이 결국 출입문 잠금장치(3단)가 된 거죠.

💡 여기서 배운 것 — 문서는 읽고 지나칠 수 있지만, 잠금장치는 걸리면 멈춰요. 원칙은 '가장 비싼 실수부터 코드에 심는다'예요. 전부 심을 필요는 없어요. 돈과 신뢰가 걸린 문 몇 개면 충분해요.

📊 실제로 작동했나 — Before vs After

Before — 구조가 없을 때는:

사고가 나면 "다음엔 조심해" 구두 다짐 — 대화가 닫히면 증발
같은 실수를 사람이 기억해서 막아야 함
새 대화마다 사람이 맥락을 반복 설명
규칙이 왜 있는지 아무도 모름

After — 3단 배선 뒤에는:

사고 당일 카드 작성 → 매뉴얼 승격 → 잠금장치까지 배선
컨펌 표시 없으면 스크립트가 정지
안전장치 원장 전체 기준 차단·롤백된 기록 27건(최근 30일)
뽀둥이가 과거 카드·기록을 먼저 검색해 근거로 제시
규칙마다 원래 사고 카드로 역추적 가능

이후 웨비나 회차마다 뽀둥이는 검수 단계에서 먼저 "컨펌 필요 목록"을 보고하고 멈춰요. 참고로 시간이 몇 % 절약됐다는 수치는 안 쓸 거예요. 측정한 적이 없거든요. 측정 안 한 숫자를 안 만드는 것도 이 시스템의 원칙이에요.

🕵️ 보너스: 이 글을 쓰다가 실수를 하나 더 잡았다

뽀둥이의 기억이 어떻게 연결돼 있는지는 지난달부터 공개 지식그래프 웹페이지로 자동 정리되고 있어요. 이번 글을 준비하면서 이 페이지를 점검할 때, 저나 뽀둥이 스스로가 아니라 이 작업을 한 적 없는 별도의 리뷰어 AI한테 "작성자를 믿지 말고 반박해봐"라고 시켰어요.

그랬더니 진짜 나왔어요. 공개 페이지에는 웨비나 연사분 성함이 노출되지 않게 가리는 마스킹 필터가 있는데, 폴더 이름 순서가 다른 케이스 하나가 필터를 우회해서 개인정보(PII)가 그대로 노출되고 있었던 거예요. 원인을 찾아서 필터를 "패턴 추측" 방식에서 "실제 폴더 목록 대조" 방식으로 바꿨고, 혹시라도 이름이 남으면 배포 자체가 중단되게(역시 fail-closed) 고쳤어요. 같은 리뷰에서 제 1차 조사가 웨비나 폴더 수를 하나 적게 센 집계 오류도 함께 드러났고요. 이 사건도 그날 바로 교훈 카드가 됐어요. "AI의 자기 검토를 믿지 말 것"이 글감이 아니라 실제로 작동한 순간이었죠.

❓ 이런 게 궁금하실 것 같아요

Q. 그냥 노션이나 메모장에 적어두면 안 되나요?

적는 것 자체는 같아요. 차이는 셋이에요. ① 형식 — '무슨 일·왜·다음엔'이 강제되는가 ② 연결 — AI가 새 작업 때 그 기록을 자동으로 찾아 읽는가 ③ 잠금장치 — 최악의 실수는 문서가 아니라 절차로 막는가. 이 셋이 없으면 기록은 쌓여도 재사용이 안 되더라고요.

Q. AI가 기록을 잘못 적으면요?

실제로 생겨요. 그래서 틀렸다고 판명된 기록은 지우지 않고 "무효(superseded)" 표시를 달아 검색 순위를 뒤로 보내요. 판단이 뒤집힌 과정도 안 지워요. "1차 판단 → 폐기 → 재검증" 흐름째 보존해요. 지우면 왜 틀렸는지도 같이 사라지니까요.

Q. AI가 컨펌 표시를 스스로 켜고 실행하면요?

날카로운 질문이에요. 표시 자체는 기술적으로 넣을 수 있어요. 그래서 이 잠금장치는 "절대 못 뚫는 벽"이 아니라 "몰랐다는 변명을 없애는 장치"에 가까워요. 규칙 문서가 "사람 컨펌 후에만 표시"라고 명시하고 실행 기록이 전부 남아서 사후 확인이 돼요. 실수나 깜빡을 막는 게 목적이고, 그 범위에서는 확실하게 작동해요.

Q. 이거 다 자동인가요?

아니요, 그게 핵심이에요. 기록·검색·색인은 자동이지만 매뉴얼 승격과 규칙 변경은 100% 사람 결정이에요. 원칙은 "측정은 기계, 판단은 사람"이에요.

💬 이 경험에서 뽑은 팁 3가지

기록은 "무엇"이 아니라 "왜 + 다음엔 어떻게"로 — 이유 없는 기록은 재사용이 안 돼요.
치명적인 실수 한두 개부터 잠금장치로 — 모든 규칙을 코드에 심을 필요는 없어요. 돈과 신뢰가 걸린 문부터.
AI의 자기 검토를 믿지 말고 별도 검토자를 붙이기 — 작성 AI와 리뷰어 AI를 분리했더니 이번 프로젝트에서만 결함 두 건(개인정보 노출, 집계 오류)을 잡았어요.

🌍 오늘부터 작게 시작한다면

AI 도구를 쓰고 있다면 오늘 실수한 것 하나를 "무슨 일 · 왜 · 다음엔 어떻게" 세 칸으로 프로젝트 문서에 적어두세요. 다음 작업을 시작할 때 AI한테 "시작 전에 이 문서부터 읽어"라고 하시고요. 그게 1단이에요. 다음 단은 하나씩 쌓으면 돼요.

🚀 다음 편 예고 — ② 기억이 사는 집

카드를 쓰게 했더니 다음 질문이 생겼어요. "그 카드들은 대체 어디에, 어떤 단위로 쌓이나요? AI가 대화할 때마다 그걸 다 읽나요?" ②편에서 뽀둥이 기억 창고의 3층 구조(책상·서랍·창고)를 문 열고 보여드릴게요.

📋 재사용 가능한 프롬프트

프롬프트 1: 사고를 재사용 가능한 기억으로 기록하기

방금 작업에서 발생한 실수/사고를 기록해줘. 반드시 3가지를 나눠서 적어:
① 무슨 일이 있었나 (사실만)
② 왜 발생했나 (근본 원인)
③ 다음에 같은 상황이 오면 어떻게 해야 하나 (행동 규칙 1줄)
[프로젝트 기록 문서]에 저장하고, 비슷한 기록이 이미 있으면 새로 만들지 말고 그 문서를 갱신해.

프롬프트 2: 결과물 독립 검수 시키기

너는 이 결과물을 만든 적 없는 독립 검수자야. 작성자의 논리를 신뢰하지 말고 반박을 시도해.
① 사실과 다른 주장
② 근거 없이 단정한 부분
③ 외부에 공개되면 안 되는 정보 (개인정보·내부정보)
④ 놓친 예외 케이스
를 찾아서 각각 심각도와 구체적 근거를 붙여 보고해.
문제가 없으면 "무엇을 어디까지 확인했는지"를 명시해.

🔥<24기 AI 스터디> 슈퍼얼리버드 신청하기 🔥