본문으로 건너뛰기

나만의 Perplexity 만들기 — 구독 종료를 계기로 직접 만들고, 지표로 개선 중인 리서치 에이전트

다빈치리

2026.08.06

소개 📝

저는 원래 Obsidian 기반으로 나름의 PKM을 운영해 왔습니다. 인해결재(入解決裁)라고 이름 붙인 처리 시스템인데 — 자료가 들어오면(入) 이해하고(解) 분류하고(決) 실제 작업에 재활용하는(裁) 4단계로 Inbox를 소화합니다. 즉 "지식관리를 시작"한 게 아니라, 이미 돌아가던 시스템이 있었습니다.

그런데 올해 Perplexity 1년 구독이 끝났습니다. 갱신 버튼 앞에서 두 가지 불만이 떠올랐습니다.

첫째, 답이 한 모델의 관점이라는 것 — 모델마다 잘 아는 영역이 다른데, 매번 하나의 답만 받습니다. 둘째, 찾은 것이 내 PKM으로 흘러들지 않는다는 것 — 좋은 답도 인해결재의 入 단계로 자동 연결되지 않아, 수동 복사가 병목이었습니다.

그래서 갱신 대신 5월부터 직접 만들기 시작한 것이 homesearch — "개인용 Perplexity + 내 인해결재 시스템의 자동 入구"입니다. 미리 말하면 이 글은 성공담이 아니라 개선 진행형 기록입니다.

진행 방법 🔍

(1) 여러 LLM을 경쟁시키는 race 구조 — 같은 질문과 웹 검색 결과(Tavily)를 여러 백엔드 LLM(GPT 계열·Gemini·Claude 등)에 동시에 주고, 심판(judge) 모델이 각 답을 대조해 하나로 합성합니다. 모델들이 서로 다른 걸 말하면 그 지점이 곧 "더 확인해야 할 곳"이라는 신호가 됩니다 — 교차검증이 구조에 내장된 셈입니다.

(2) 인용 강제 — 답변의 모든 주장에 출처 번호를 붙이게 했습니다. 웹 출처는 [1][2], 제 Obsidian 노트에서 온 근거는 [V1][V2]로 구분됩니다. "그럴듯한 말"과 "출처 있는 말"이 화면에서 바로 구별됩니다.

(3) Obsidian Vault로 저장하는 한 개의 버튼 — 마음에 드는 답변은 명령 하나로 Vault에 노트로 저장됩니다(자동 태깅 포함). 반대로 검색할 때 Vault의 기존 노트도 컨텍스트로 함께 들어갑니다. "찾은 것"이 "아는 것"이 되고, "아는 것"이 다음 검색의 재료가 되는 순환이 이 프로젝트의 핵심입니다.

(4) 쓰는 곳을 늘려서 습관으로 — CLI, 텔레그램 봇, 그리고 MCP 서버로 만들어 Claude Code 안에서도 도구로 호출됩니다. 지금은 제 코딩 에이전트가 웹 조사가 필요하면 저 대신 homesearch를 부릅니다.

(5) 품질은 감이 아니라 지표로 — 그리고 솔직히, 아직 Perplexity만큼 좋지 않습니다. 답변 품질이 기대에 못 미치는 날이 여전히 있습니다. 그래서 "좋아진 것 같다"는 감 대신 성과 지표를 만들어 개선 루프를 돌리고 있습니다: provider 가용성·응답 지연·인용 정확도의 매일 자동 헬스체크 + 라우팅·judge 모델을 바꿀 때마다 A/B 리포트 비교. 지표가 있으니 "어제보다 나쁜 변경"을 되돌릴 수 있게 된 것이 가장 큰 차이입니다.

결과와 배운 점 📚

  • 지식관리의 병목은 저장이 아니라 '입구'였다 — 인해결재의 解·決·裁는 체계가 있어도, 入이 수동이면 전체가 막힙니다. 리서치 도구에 저장 버튼 하나를 붙인 것이 어떤 분류 체계 개선보다 시스템을 살렸습니다.

  • - 완성된 도구보다 '지표 있는 미완성'이 낫다 — 상용 서비스만큼 안 되는 걸 인정하고 측정 가능하게 만들자, 개선이 감정(아쉽다)에서 작업(이 지표를 올리자)으로 바뀌었습니다. 구독료 대신 지불하는 건 개선 시간이지만, 그 과정 자체가 지식관리 역량이 되고 있습니다.

  • - 한 모델의 답은 믿지 않게 됐다 — race 구조를 쓰다 보면 모델 간 불일치를 매주 목격합니다. 특히 CLI 플래그·API 스펙처럼 기계로 확인 가능한 것은 웹 조사 결과를 그대로 믿지 않고 로컬에서 직접 실행해 검증하는 습관이 생겼습니다 (허구의 명령 옵션을 그럴듯하게 답한 사례를 실제로 잡았습니다).

  • - 에이전트의 도구가 되니 가치가 배가됐다 — 사람이 쓰는 앱으로 만들 때보다, MCP로 노출해 다른 에이전트가 쓰게 했을 때 사용 빈도가 훨씬 늘었습니다. "내가 쓰는 도구"보다 "내 에이전트가 쓰는 도구"가 지식 유입량을 늘립니다.

시행착오도 있었습니다. 검색 provider가 조용히 저하되어 답변 품질이 며칠간 떨어진 걸 지표 덕에 뒤늦게 발견했고, judge 모델을 바꿨다가 인용 정확도가 떨어져 되돌린 적도 있습니다. 이런 "되돌린 변경"들을 기록으로 남기는 게 요즘의 과제입니다.

앞으로의 계획: Vault에 쌓인 노트를 의미 기반으로 검색하는 로컬 하이브리드 검색(vault-search)과의 연결을 강화해 "수집(homesearch) → 축적(Obsidian) → 재검색(vault-search)" 파이프라인을 완성하고, 이 스터디에서 배우는 AKM 볼트의 검증 절차를 저장 단계에 이식할 예정입니다 — 저장 전에 "출처 있는 주장만 통과"시키는 게이트. 다음 사례글에서 이 파이프라인의 나머지 반쪽(vault-search)을 공유하겠습니다.

도움 받은 글 🙏

  • DECK님의 AKM(Agent Knowledge Management) 공개 저장소 — 이 스터디의 지식관리 골격이자 "실패를 고칠 레이어로 보내는" 루프 개념의 출처: github.com/DECK6/akm

  • - Andrej Karpathy의 LLM Wiki 패턴 — "매번 RAG로 재해석하지 말고 위키로 컴파일하라"는 발상의 원류

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

꾸
꾸기작2026.08.06

구독 갱신 대신 직접 만드는 쪽을 선택하신 계기가 눈에 띄었습니다. 한 모델의 관점만 받게 된다는 점과 찾은 자료가 PKM으로 이어지지 않는다는 점을 불만으로 짚으신 대목이 설득력 있게 느껴졌습니다. 여러 백엔드에 같은 질문을 동시에 주고 judge 모델이 하나로 합성하게 하면서, 모델 간 불일치를 더 확인해야 할 지점으로 삼으신 설계도 교차검증을 구조에 넣은 방식이라 흥미로웠습니다.

웹 출처와 Obsidian 노트 근거를 번호로 구분해 표시하게 하신 점, 그리고 지식관리의 병목이 저장이 아니라 입구였다는 진단이 기억에 남습니다. 자동 태깅까지 붙은 저장 버튼 하나가 분류 체계를 다듬는 것보다 시스템을 살렸다는 이야기는 비슷한 노트 시스템을 쓰는 분들에게도 참고가 될 것 같습니다.

아직 상용 서비스만큼은 아니라고 솔직하게 적어두시고, provider 가용성과 응답 지연, 인용 정확도를 매일 점검하며 라우팅이나 judge 모델을 바꿀 때마다 A/B로 비교하시는 방식이 좋았습니다. 검색 provider가 조용히 저하된 사례나 judge 모델을 바꿨다가 되돌리신 사례를 기록으로 남기려는 시도도 나중에 자산이 될 것 같습니다. 기계로 확인할 수 있는 것은 로컬에서 직접 실행해 검증하게 되었다는 대목에도 공감합니다.

CLI와 텔레그램 봇을 넘어 MCP로 노출하시니 직접 쓸 때보다 사용 빈도가 늘었다는 관찰도 흥미로웠습니다. 다음 글에서 이어질 vault-search와, 출처 있는 주장만 통과시키는 저장 전 게이트 구상까지 기대하며 응원하겠습니다!

DECK 프로필 이미지
DECK2026.08.07

같은 질문을 여러 모델에 던진 뒤 서로 다른 답을 검토 대상으로 삼는 방식이 공감됐습니다. 한 모델의 매끈한 답을 그대로 믿기보다 웹 출처와 내 볼트의 근거를 나눠 보여 주면, 저장할 내용도 훨씬 신중히 고르게 되겠지요. 이 자료가 개인 지식창고로 넘어가는 과정까지 이어지면 훨씬 실감 나겠습니다.

You쌤 프로필 이미지
You쌤2026.08.07

Perplexity 구독 종료를 아쉬워하는 데서 끝나지 않고, 직접 ‘homesearch’를 만들어 해결해 나가는 과정​이 정말 인상 깊었습니다.
특히 여러 LLM을 경쟁시키고 교차검증하는 race 구조, 그리고 “완성된 도구보다 지표 있는 미완성이 낫다”는 관점이 오래 남네요.
수집 → Obsidian 축적 → 재검색으로 지식이 계속 순환하도록 만든 구조를 보며, 결국 좋은 시스템은 쓰면서 측정하고 개선하는 과정에서 완성된다는 생각이 들었습니다.
다음 vault-search까지 연결되면 어떻게 발전할지 더욱 기대됩니다. 계속 응원하겠습니다!

어른아이J 프로필 이미지
어른아이J2026.08.10

지식관리의 병목이 저장공간이나 분류체계가 아니라 ‘입구’였다는 설명에 공감했습니다. 검색 결과를 출처와 함께 바로 Vault에 넣고, 다음 검색에서 다시 활용하는 구조가 특히 인상적이네요. 여러 모델의 답변 불일치와 인용 정확도를 지표로 관리한다는 점도 좋았습니다

_묘랑 프로필 이미지
_묘랑2026.08.13

퍼플렉시티를 만들어버린 패기! 직접 들어보고 싶었는데 아쉬웠어요.
지식관리의 병목은 저장이 아니라 '입구'였다 - 저도 시작이 어려운 타입이라 뜨끔했습니다 ㅎㅎ 한 모델의 답을 믿지 않고 여러 경로로 검증하는 것도 고개가 끄덕여지는 지점이었어요. 재밌는 사례였습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기