📝 한줄 요약
기억이 수백 장이 되니 "필요한 한 장"을 꺼내는 게 진짜 문제가 됐어요. 요즘 많이 쓰는 벡터 임베딩 검색을 실제로 만들어 붙이고 정확도를 재봤는데, 저희 문서에서는 기존 방식보다 낮게 나와서 껐어요. 지금 뽀둥이의 검색은 임베딩 없이 다섯 가지 신호를 RRF로 합쳐 돌아가요.
바쁘시면 이것만:
- 검색 정확도를 잴 골든셋(golden set)을 먼저 만들고, 그다음에 방법을 골랐어요
- 2026년 6월 실험에서 벡터 임베딩 41% vs BM25 + 제목 매칭 66% — 측정값이 그대로 결정이 됐어요
- 지금은 BM25·recency·그래프·제목·usage 다섯 신호를 점수가 아니라 순위로 합쳐요
- 검색이 망가진 사고 두 번 다 원인은 "내용"이 아니라 파일 수정 시각이었어요
📝 지난 이야기, 그리고 이번 주제
②편에서는 뽀둥이의 기억이 사는 집을 봤어요. 책상(자동 로드)·서랍(최근 14일)·창고(보관)의 3층에 별동 2개(교훈 카드·매뉴얼 위키) 구조요. 기록이 쌓이는 자리를 정해줬더니 다음 문제가 바로 따라왔어요.
"쌓아둔 건 좋은데, 필요할 때 그 한 장을 어떻게 꺼내지?"
지금 뽀둥이의 검색이 훑는 문서는 424개예요(2026년 8월 18일 기준). 이 중에 지금 이 대화에 필요한 서너 장만 골라 와야 해요. 이번 편 핵심 주제는 그거 하나, 검색이에요. 그리고 이 편에는 자랑보다 실패가 더 많이 나와요. 저희가 요즘 많이 쓰는 방법을 만들어놓고 껐거든요.
🗺️ 뽀둥이의 메모리 지식구조 한눈에 보기
처음 오신 분을 위한 30초 지도예요. 매 편 상단에 이 지도를 똑같이 두고, 그 편에서 다루는 곳에 ★를 찍어둘게요. 뽀둥이의 기억은 전부 폴더 속 텍스트 파일이고, 크게 여섯 부분이 맞물려 돌아가요.
- 책상 (자동 로드 문서) — 매 대화 시작 때 자동으로 읽는 정체성·규칙·현재 요약본·최근 기록 (②편)
- 서랍·창고 (일별 기록·아카이브) — 하루하루의 작업과 실패 기록, 14일 지나면 자동 보관 (②편)
- 교훈 카드 + 매뉴얼 위키 — 사고의 교훈을 담은 카드와, 반복 검증된 정본 규칙 (①·②편)
- 검색 엔진 ★ — 수백 장 기억에서 필요한 것만 골라 꺼내는 색인·검색 (③편)
- 안전장치 (게이트) — 자동화가 사고 치지 않게 막는 검증·잠금·롤백 (①·④편)
- 지식그래프 — 이 모든 연결을 한 장으로 보여주는 공개 지도 (⑤편)
이번 ③편은 ★ 찍힌 4번, 검색 엔진을 통째로 다뤄요.
🎬 장면: 엉뚱한 문서를 물어온 날
8월 초 어느 날이었어요. 뽀둥이한테 파트너스 제도 관련 규칙을 찾아달라고 했더니 전혀 상관없는 발송 규칙 문서를 1순위로 물어왔어요. 다른 질문에서도 비슷했어요. 토큰 절약 도구를 물었는데 3위에 디자인 규칙 문서가 끼어 있었고요.
이상해서 두 문서의 공통점을 찾아봤어요. 내용이 겹치는 것도 아니고 링크로 이어진 것도 아니었어요. 공통점은 딱 하나였어요.
둘 다 그날 제가 수정한 파일이었어요.
검색 품질이 "오늘 내가 뭘 편집했나"에 따라 매일 출렁이고 있었던 거예요. 어떤 날은 잘 찾고 어떤 날은 못 찾는데, 그 이유가 문서 내용과 아무 상관이 없었어요.