쌓기만 하던 PKM에 ‘무엇을 더 알아야 하는지’ 묻다: Knowledge Gap Manager 구현기
2026.08.05
📝 한줄 요약
Agent-wiki에 쌓인 리서치 노트를 검색하는 데서 멈추지 않고, 출처 오류·미검증 지식·미해결 질문을 찾아 다음 조사 작업까지 만드는 Knowledge Gap Manager를 구현했다. 이제 PKM은 문서를 보관하는 장소가 아니라, AI 에이전트가 근거를 찾아 답하고 부족한 지식을 드러내는 작업 기반이 됐다.
바쁘시면 이것만 읽어도 돼요:
Markdown 기반
Agent-wiki를 정본으로 두고,obsidian-rag에 검색과 지식 공백 점검 기능을 구현했다.실제 질문으로 검색 품질을 검증한 뒤, 한국어 질의 확장·다중 국가 비교 문서 가중·중복 제거를 적용했다.
실제 vault를 감사해 끊긴 위키링크, Open Question,
unverified노트를 찾아냈다.진단 결과를 리포트로 저장하고, 사람이 검토할 수 있는 Inbox 보완 작업으로 자동 전환했다.
앞으로는 오래된 근거·출처 부족·관점 누락의 우선순위까지 제안하는 ‘지식 레이더’로 확장할 계획이다.
🎯 이런 분들께 도움돼요
AI 에이전트가 내 문서를 근거로 답하도록 만들고 싶은 분
리서치 자료는 많지만 출처·검증 상태를 꾸준히 관리하기 어려운 분
RAG를 단순 검색이 아니라 다음 조사 과제를 찾는 시스템으로 확장하고 싶은 분
😫 문제 상황: 리서치 노트는 늘어나는데, 품질을 점검하기 어려웠다
Agent-wiki에는 규제 리서치, 프로젝트 문서, 의사결정 기록, 에이전트 운영 지식이 쌓여 있었다. 하지만 자료가 많아질수록 새로운 문제가 생겼다.
원문 링크가 끊겨도 언제 발견할지 알기 어려웠다.
어떤 지식이 아직 검증되지 않았는지 한눈에 보기 어려웠다.
노트 속 ‘추가 조사 필요’ 질문이 다음 작업으로 연결되지 않았다.
즉, 검색은 가능해도 지식베이스의 건강 상태를 알 수 없었다. AI 에이전트를 붙이려면 단순히 답을 찾게 하는 것만으로는 부족했다. 답변의 근거가 충분한지, 무엇이 비어 있는지까지 확인하는 장치가 필요했다.
🛠️ 사용한 도구
Codex: 요구사항을 선택지로 정리하고, 코드 구현·검증·문서화를 함께 진행
Agent-wiki: Markdown·frontmatter·wikilink 기반의 지식 정본
Obsidian: 노트와 연결 관계를 사람이 탐색·검수하는 인터페이스
obsidian-rag: Python 기반 로컬 검색 및 Knowledge Gap Manager 실행 엔진
knowledge-manager 플러그인: 지식 수집·검색·링크 점검·건강검진 흐름을 참고하기 위한 운영 가이드
🔧 작업 과정
PKM의 목표를 ‘잘 저장하기’에서 ‘부족한 것을 알기’로 바꿨다
처음에는 PKM을 자료를 쌓고 검색하는 구조로 설계했다. 그런데 실제로 사용해 보니 더 중요한 질문이 남았다.
실제로 PKM가지고 지식 관리 매니저로 이용하면서 부족한 지식이 있는지 확인해주는 기능 넣어볼 수 있나?
이 질문을 기준으로 역할을 다시 나눴다. Agent-wiki는 사람이 읽고 수정하는 Markdown 정본으로 유지하고, obsidian-rag는 그 노트를 검색하고 점검하는 엔진이 맡는다.
Agent-wiki 노트
→ 자연어 검색과 근거 반환
→ 지식 공백 감사
→ 리포트 생성
→ Inbox 보완 작업
→ 사람 검토 후 정본 반영
중요한 원칙은 자동 수정하지 않는 것이었다. AI는 문제를 발견하고 작업 초안을 만들지만, 원문 수정과 지식 노트 반영은 사람이 검토한 뒤 진행한다.
실제 질문으로 검색 품질부터 검증했다
지식 공백을 찾기 전에, 에이전트가 필요한 근거를 제대로 찾는지 확인해야 했다. 그래서 여러 국가의 운영 차이를 묻는 실제 질문을 검색 테스트로 사용했다.
한국·EU·홍콩·UAE에서 트래블룰 운영 프로세스를 설계할 때 확인해야 할 차이와 우선순위는 무엇인가?
첫 결과는 만족스럽지 않았다. 일부 국가 자료는 나왔지만, 한국어 질의와 영문 문서 표현이 잘 연결되지 않았고 다중 국가 비교 문서가 충분히 상위에 오르지 않았다.
그래서 다음을 구현했다.
한국→Korea,홍콩→Hong Kong,트래블룰→Travel Rule처럼 한국어 질의를 영문·동의어로 확장여러 관할을 묻는 질문에는 비교 문서와 질문에 나온 국가를 폭넓게 다루는 문서에 가중치 부여
같은 문서의 여러 청크가 결과를 차지하지 않도록 파일 단위 중복 제거
개선 뒤에는 홍콩·UAE 비교 노트, 관할 매트릭스, 한국·EU·홍콩·UAE를 함께 다룬 글로벌 비교 노트가 상위에 함께 나왔다. 여기서 얻은 교훈은 분명했다. 검색 기능은 구현 완료 여부가 아니라, 실제 의사결정 질문으로 검증해야 한다.
‘막연한 지식 부족’을 자동 점검 가능한 기준으로 바꿨다
이제 핵심인 Knowledge Gap Manager를 만들었다. ‘지식이 부족하다’는 말은 너무 추상적이어서 바로 작업으로 옮기기 어렵다. 그래서 확인 가능한 세 가지 신호로 나눴다.
점검 신호 | 의미 | 후속 행동 |
|---|---|---|
끊긴 위키링크 | 원문·근거 연결이 깨짐 | 링크 대상 확인 및 수정 |
Open Question | 아직 답하지 못한 리서치 질문이 남음 | 조사 범위와 필요한 출처 정의 |
| 검증 전 요약·합성 노트 | 원문 확인 및 신뢰도 갱신 |
obsidian-rag에 gap-audit 명령을 추가했다. vault를 읽어 이 신호들을 찾아 Markdown 또는 JSON 리포트로 만든다. 필요할 때만 --create-inbox 옵션으로 후속 작업을 생성하도록 해, 진단이 기존 노트를 함부로 바꾸지 않게 했다.
실제 Agent-wiki에서 문제를 찾아 Inbox 작업으로 만들었다
테스트용 예시가 아니라 실제 Agent-wiki에 감사를 실행했다. 그 결과는 세 가지였다.
호주 규제 메모에서 실제로 존재하지 않는 출처 위키링크 1개 발견
믹서·비수탁 지갑 위험, Portal 의사결정 근거 등 여러 Open Question 발견
20-knowledge아래의 미검증 노트 목록 발견
그리고 이 결과를 감사 리포트와 세 개의 Inbox 작업으로 저장했다.
knowledge-gap-audit-2026-08-01.md
├── data quality: 끊긴 출처 링크 수정
├── knowledge gap: 미해결 질문 조사
└── evidence quality: unverified 노트 검토
이 순간이 가장 실감 났다. 예전에는 “한번 정리해야지”라고 생각만 하고 지나갔을 일을, PKM이 구체적인 다음 행동으로 바꿔 줬다.
✅ 결과: PKM이 다음 리서치 과제를 알려주는 시스템이 됐다
항목 | Before | After |
|---|---|---|
검색 | 문서를 직접 열거나 키워드로 찾음 | 실제 질문에 맞춰 관련 노트·출처를 반환 |
검색 검증 | 결과가 그럴듯한지 감으로 판단 | 실제 의사결정 질문으로 관련성·근거를 확인 |
지식 품질 | 출처 오류·미검증 노트를 수동으로 발견 | 정해진 기준으로 정기 감사 가능 |
미해결 조사 | 노트에 남아도 잊히기 쉬움 | Inbox 작업으로 전환해 다음 행동을 명확화 |
AI 에이전트 역할 | 저장된 문서를 찾아주는 도구 | 근거를 제시하고, 부족한 지식도 드러내는 협업자 |
이번 구현으로 가장 크게 달라진 것은 두 가지다.
다음에 조사할 일이 명확해졌다. 노트를 처음부터 다시 훑지 않아도, 지식 공백이 Inbox 작업으로 정리된다.
PKM의 역할을 새롭게 정의했다. 단순한 저장소가 아니라, 현재 지식의 약점을 보여 주고 보완을 이끄는 시스템이 됐다.
💬 AI와 협업하며 배운 점
효과적이었던 방식
실제 자료로 먼저 테스트했다.
검색과 감사 모두 샘플 데이터가 아니라 내가 실제로 쓰는 vault에서 실행했다. 그래야 발견한 문제도 실제 작업 가치가 있었다.
지식 공백을 측정 가능한 신호로 바꿨다.
‘부족한 지식’을 바로 판단하려 하지 않고, 링크·미해결 질문·검증 상태처럼 관찰 가능한 기준부터 만들었다.
기존 도구는 역할에 맞게 활용하고, 빈 부분만 직접 구현했다.
knowledge-manager에서 지식 건강검진 흐름을 참고하되, 현재 vault와 검색기에 바로 필요한 기능은obsidian-rag에 구현했다.
주의할 점
자동 수정은 조심해야 한다.
끊긴 링크처럼 보이는 항목도 예시 문서나 의도적 참조일 수 있다. 그래서 이번 도구는 진단과 Inbox 생성까지만 자동화했다.
unverified는 오류 목록이 아니다.새로 수집한 자료나 작업 중인 합성 노트일 수 있다. 우선순위를 정해 검토할 후보 목록으로 봐야 한다.
검색 결과가 있다고 곧바로 답변을 확정하면 안 된다.
규제처럼 최신성이 중요한 주제는 파일 경로·원문·작성일을 함께 확인해야 한다.
🚀 앞으로의 계획: 지식 레이더 만들기
다음 단계는 단순히 문제를 나열하는 감사 도구를 넘어, 무엇을 먼저 보완할지 제안하는 지식 레이더다.
오래된 자료와 최신 자료의 충돌 감지
특정 질문에서 반복적으로 빠지는 국가·관점·출처 파악
영향도와 신뢰도를 반영한 조사 우선순위 제안
에이전트 답변마다 근거 충분성·최신성·상충 정보 점검
궁극적으로는 AI 에이전트가 “이 질문에는 근거가 부족합니다. 먼저 이 출처를 확인하거나 이 리서치 작업을 진행해 주세요”라고 말할 수 있는 지식 기반을 만드는 것이 목표다.
📋 재사용 가능한 프롬프트
프롬프트 1: 내 PKM의 지식 공백 점검 기준 만들기
내 PKM에서 ‘지식 공백’을 찾아내는 기준을 설계해줘. 먼저 내가 관리하는 자료 유형, 실제로 자주 묻는 질문, 신뢰도 판단 기준, 사람이 반드시 검토해야 하는 변경을 선택지로 하나씩 물어봐. 답변을 바탕으로 자동 점검 항목, 심각도, 리포트 형식, Inbox 후속 작업 템플릿을 제안해줘.
프롬프트 2: RAG 검색 결과를 다음 조사 과제로 바꾸기
다음 질문과 검색 결과를 보고, 답변에 필요한 근거가 충분한지 점검해줘. 1) 사용한 출처, 2) 빠진 관점·관할·반대 근거, 3) 오래됐거나 미검증인 노트, 4) 링크 오류 가능성, 5) 다음 Inbox 조사 작업을 중요도순으로 제안해줘. 근거가 없는 내용은 추론이라고 표시하고, 기존 노트는 수정하지 마.



