"99.25점인데, 에이전트는 그 지식을 꺼내지 못하고 있었다"
2026.08.10
바쁘신분은 이것만
문서는 전부 디스크에 멀쩡히 있었다. 유실 0건.
문제는 검색이 못 찾는 것 — 에이전트가 지식을 꺼내지 못하는 상태.
승인 비유: 서고에 책은 다 있는데 목록카드가 틀려서 사서가 못 찾는 상황.
척추 문구: "99.25점인데, 에이전트는 그 지식을 꺼내지 못하고 있었다" — 검색 사각지대, 보이지 않는 결손.
과제 매핑표
과제 요구 | 글에서 다루는 곳 |
|---|---|
① 내 분야 자료를 체계적으로 모아 지식관리시스템 구축 | 도입: 회계·세무 지식베이스 4개(약 4.4만 / 66만 / 5만 / 노트 1.2만 문서). 1·2주차 글에서 만든 그 시스템 — "점수는 99.25까지 받았다" |
② LLM 연결 — 단순 검색 아닌 맥락 이해·요약 에이전트 | 이 지식베이스를 근거로 답하는 회계 Q&A 에이전트가 이미 연결돼 있다는 구조 소개 (한 섹션, 짧게) |
③ 작동 테스트 → 응답 품질 점검 → 개선 포인트 기록 | 본론 전체. 아래 사건 전개 |
사건 전개 (실측 수치 — 전부 실제 값, 공개 OK)
1. 발견 계기
외부 스킬 카탈로그를 조사하다가, 스킬 이름 검색이 이상하게 0건 나오는 걸 보고 "우리 지식베이스도 이런 결손이 있나?" 싶어 전 지식베이스 4개를 전수 검침했다.
2. 전수 검침 결과 (표 그대로 사용 가능)
코퍼스 | 규모(문서) | NFD 표기 변종 | 검색 진입점 소실 | 조치 |
|---|---|---|---|---|
공개 검색서버 | 50,512 | 0 | 0 | 불요 |
세무 코퍼스 | 664,230 | 22 | 0 (질의 정규화가 흡수) | 불요 |
회계 코퍼스 | 44,424 | 174 | 137 | 질의측 보강 |
옵시디언 노트 | 12,580 | 643 | 표본 60건 중 55건 소실 (91.7%) | 파일명 개명 |
핵심 반전: 규모가 제일 작은 옵시디언 노트가 최대 결손이었다.
3. 원인 — macOS NFD
macOS(APFS)는 한글 파일명을 NFD(자모 분해형)로 저장한다. 화면(
ls)에는 똑같이 보이지만 바이트가 다르다.검색어는 NFC(완성형)로 들어오니 바이트 매칭이 실패 → 파일은 실존하는데 검색 0건.
실례(익명화 적용): "회사 업무매뉴얼", "거래처 잔액 정리 문서" 같은 실무 문서를 이름으로 검색하면 0건 — 파일은 있는데......
아무도 몰랐던 이유: 화면에는 멀쩡히 보이니까. 실사용 테스트를 하기 전엔 드러나지 않는 사각지대.
4. 처방이 지식베이스마다 달랐다 (글의 지적 포인트 — 강조)
같은 병(NFD)인데 처방이 진입점 구조에 따라 갈렸다:
DB형 코퍼스(회계): 검색 함수에 NFD OR 확장 추가(질의측 흡수). A/B: 자기회수 37/174 → 174/174, 기존 검색 500건 회귀 0.
파일형(옵시디언 노트): 진입점이 파일명 리터럴 매칭이라 질의측에서 흡수할 지점이 없음 → 파일명 643건을 NFC로 개명이 정답.
교훈 문구: "결손은 같아도 수리 지점은 시스템 구조가 정한다."
5. 개명 = 위험 작업 → 안전장치 먼저
개명 전: 전체 백업(tar) + 643건 개명 목록(manifest, 역방향 복구 가능) 작성.
개명 전 참조 검침 3종: 캔버스/베이스 참조 0, 스크립트 하드코딩 0, 위키링크 317건은 링크 텍스트도 NFD라 함께 해소됨을 확인.
6. before/after 통제검증 (③ "개선 포인트 기록"의 실물)
NFD 잔존: 643 → 0
검색 회복: 소실 표본 55건 → 0건 (실무 문서들이 이름 검색으로 복귀)
깨진 링크: 3,019 → 2,922 (-97, 오히려 회복) / 신규 파손 0
manifest 대조: 643건 전부 현존, 유실 0🔴 에피소드: 개명 후 "깨진 링크 2,922건"만 봤으면 내 작업을 사고로 오판할 뻔했다. 백업본에 같은 검사기를 돌려 baseline(3,019)을 얻고 나서야 "오히려 회복"임을 알았다. → "before 없이 after만 보면 안 된다"는 교훈.
부수 에피소드: 파일 수가 45개 줄어 놀랐는데 전부
._메타파일(백업 도구 부산물)이었다 — 진짜 노트 유실 0 확정.
7. 체감 효과
이제 회사 업무 문서를 이름으로 물으면 에이전트가 실제로 꺼내온다.
점수(99.25)는 그대로인데 실사용 품질이 달라졌다 — 점수가 안 재는 구멍은 실사용 테스트만이 찾는다.
시리즈 연결
W1: 셀프평가 80점대 — AI 채점기의 오채점 4건을 적발하며 시작
W2: 99.25점 도달
W3(본편): 99.25점의 시스템을 실제로 써보니 검색 사각지대에 문서 643건 — 점수의 반전편
마무리 제안: "지식관리시스템의 완성은 점수가 아니라, 에이전트가 오늘 그 지식을 꺼낼 수 있느냐가 중요하다 구조 골격의 완성은 그냥 점수의 지표일뿐 중요한건 정확하게 내가 원할때 전부를 가져올수 있느냐다."
치환사전
원래 | 표기 |
|---|---|
봇 고유명 | "회계 Q&A 에이전트" / "세무 에이전트" |
메뉴얼·외상매입금잔액·외화평가명세서 등 실파일명 | "회사 업무매뉴얼", "거래처 잔액 정리 문서" 류로 일반화 |
로컬 경로·백업 파일명·스크립트명·회사명 | 제거 (서술로만: "백업과 개명 목록을 남기고") |
Hermes/옵시디언/macOS/NFD·NFC/검침 수치 전부 | 유지 (공개 도구·시스템 계측치) |
익명화 최종 게이트
[ ] 회사명·부문명 0건 / [ ] 실파일명(경리메뉴얼 등) 0건 / [ ] 봇 고유명 0건 / [ ] 로컬 경로·백업 파일명 0건
로그인하고 댓글을 남겨 주세요
자연어회계처리 님, 99.25점 받은 시스템에서 옵시디언 노트만 표본 60건 중 55건이 검색 소실이었다는 전수 검침이 섬뜩했습니다. macOS NFD라는 같은 병인데 DB는 질의측 흡수, 파일형은 NFC 개명으로 처방을 가른 점과, 깨진 링크 2,922만 보고 사고로 오판할 뻔했다가 백업 baseline(3,019)으로 “오히려 회복”을 증명한 장면이 특히 와 닿았습니다. 점수는 그대로인데 에이전트가 실무 문서를 다시 꺼내게 만드신 과정, 잘 읽었습니다.
“서고에 책은 다 있는데 목록카드가 틀려서 사서가 못 찾는 상황”이라는 비유가 핵심을 잘 보여주네요. 높은 평가점수와 실제 검색 품질은 별개이고, 결국 사용자의 실제 질문으로 회수 여부를 검증해야 한다는 점이 인상 깊었습니다. 특히 before/after 기준선을 함께 측정하신 부분이 좋았습니다.
파일이 다 있는데 검색이 못 찾고 있었다는 게 무서운 이야기네요. 맥에서 깨지던 글씨가 NFD라는 명칭이었다는 것도 좋은 정보에요. 검색뿐만 아니라 다른 곳에서도 사용해볼수 있을것 같아요.
에이전트 시스템으로 받은 점수는 99.25지만 인간 실사용 점수는 백점으로 올라갔다고 생각해요 ^^
파일명 검색에서 사라졌던 지식이 한글 표기 통일 뒤 다시 잡히기 시작했습니다. 깨진 링크도 작업 전보다 97개 줄었군요. 99.25점이라는 숫자와 실제로 꺼내 쓸 수 있는 상태가 비로소 함께 맞았습니다.




"서고에 책은 있는데 목록카드가 틀려서 사서가 못 찾는 상황" — 이 비유가 NFD/NFC 문제를 한 문장으로 완벽하게 설명해요. 규모가 제일 작은 옵시디언 노트(12,580건)가 최대 결손(표본 91.7% 소실)이었다는 반전도, 같은 병인데 DB형과 파일형의 수리 지점이 달랐다는 교훈도 직접 숫자로 보니 훨씬 와닿아요.
"before 없이 after만 보면 안 된다" — 깨진 링크가 3,019에서 2,922로 줄었는데 백업 baseline이 없었으면 회복을 사고로 오판할 뻔했다는 에피소드가 특히 인상 깊었어요. 점수(99.25)는 그대로인데 실사용 품질이 달라졌다는 마무리도, 벤치마크 숫자를 맹신하지 말라는 메시지로 정확하게 읽혔어요.
이런 글 보면 기지개 한 번 펴고 싶어져요 🐈⬛