작년 말 Omnivore 서비스가 종료되면서 개인적으로 사용하던 Read-It-Later 시스템을 대체할 필요가 생겼습니다. 기존의 서비스들이 제 개인적인 필요를 충분히 충족하지 못했기 때문에, 제가 평소 사용하고 있던 Obsidian, n8n, 그리고 메신저봇R을 활용하여 나만의 효율적인 시스템을 구축하게 되었습니다.
이미 Obsidian을 통해 글을 정리하고 학습하는 습관이 있었고, Git을 이용해 노트를 동기화하고 있었기 때문에, 이를 기반으로 개인화된 시스템을 설계했습니다. 텔레그램과 카카오톡 등 평소 자주 사용하는 메신저와의 연동도 제 필요에 꼭 맞았습니다. (이지만 이것저것 사용해 보고 싶은 마음도 컸습니다.)
참고로 전체적으로 제가 보유하고 있는 하드웨어에서 작업하였기 때문에 운영비용은 LLM API 사용비용만 소비되는데 이것을 gemini api로 변환하면 무료로 운영하는 것도 가능합니다.
2. 시스템 구조와 개인적인 활용 방식
제가 구축한 Read-It-Later 시스템의 구조와 사용 방식은 다음과 같습니다.
데이터 수집
크롬 확장 프로그램: Windsurf를 사용해 Webhook을 호출 n8n 워크플로우를 실행시키는 기능의 크롬 확장 프로그램을 개발하였습니다. (개발 이후에 Obsidian 공식 Scrapper가 나왔.... 😂)
메신저 연동: 카카오톡은 메신저봇R과 연동으로 텔레그램은 기본 봇을 사용해서 크롬확장 프로그램과 동일한 기능을 구현하였습니다.
자동 처리와 맞춤 형 요약
수집한 URL은 n8n 서버에서 자동으로 처리됩니다. 콘텐츠는 개인적인 필요에 따라 다음과 같은 AI 모델을 통해 요약하고 markdown 형식으로 정리됩니다.
일반적인 글은 claude-3.5-sonnet 모델로 빠르게 요약합니다.
긴 글은 gpt-4o-mini 모델을 활용해 mapreduce 방식으로 1차 요약 후, 다시 claude-3.5-sonnet 모델로 최종 정리하여 제가 원하는 형식으로 최적화합니다.
Obsidian 저장 및 관리
이렇게 요약된 글은 Markdown 형태로 변환되어 git api 호출을 통해 제가 운영 중인 Synology NAS 내 Obsidian Git 저장소에 자동으로 저장됩니다. 또한 Obsidian 내부에서 Projects 플러그인과 Webview 기능을 사용하여 개인적인 학습 자료로 편리하게 관리하고 있습니다.
3. Obsidian 플러그인 추천
Projects 플러그인을 통해 수집된 글들을 Kanban Board 형식으로 관리하여 효율성을 높이고 있습니다.
media-extended 플러그인을 활용하여 개인적으로 관심 있는 YouTube 콘텐츠도 효율적으로 정리하고 학습하고 있습니다.
Smart Composer를 활용하면 내 노트 기반으로 AI 기능을 활용할 수 있습니다.
4. 사용된 도구와 기술
하드웨어
Synology NAS: 개인 서버 관리 환경으로 활용 (n8n, gitea 운용)
스마트폰: 이동 중 시스템 접근 및 데이터 수집
소프트웨어
n8n: 자동화 워크플로우 구성
Gitea: Self-hosting이 가능한 Git 서버
AI 모델:
Anthropic Claude API (claude-3.5-sonnet)
OpenAI GPT-4o-mini
Obsidian: 메인 지식 관리 시스템
메신저봇R: 카카오톡 연동 자동화
5. 개인적으로 경험한 문제점과 향후 개선 계획
현재 개인적으로 메신저봇R의 안정성 문제가 자주 발생하여 원 인을 지속적으로 분석하고 있습니다. 또한 카카오톡 대화 데이터를 개인적으로 더 편리하게 관리하기 위해 Qdrant를 설치하여 VectorDB 활용을 준비 중입니다.
앞으로는 메신저봇R의 안정성을 더욱 확보하고 AI 기반의 자동 정리 및 태깅 기능을 개선하여 개인적인 필요를 더욱 충족할 수 있도록 다양한 데이터 소스를 Obsidian과 연계할 계획입니다.
개인적인 필요로부터 출발한 이번 프로젝트는 다양한 기술과 도구의 연계를 통해 제가 원하는 방식대로 학습 효율성을 높이고 최적화된 시스템을 구축하는 데 큰 도움이 되고 있습니다. 앞으로의 발전 과정과 개인적인 활용 경험도 지속적으로 공유하도록 하겠습니다.