멀티 에이전트가 뭔지 모르겠어서, 일단 제 지식 창고부터 연결해봤습니다

소개

처음에는 가볍게 매주 주어지는 스터디 강의를 따라가고, 설치해보고, 되는 기능 몇 개 써보면 되겠지 싶었습니다. 그런데 막상 헤르메스를 만지다 보니 생각보다 질문이 커졌습니다.

"헤르메스는 왜 쓰는 걸까?"
"멀티 에이전트는 왜 쓰는 거지?"
"나는 이걸 어디에 쓰고 싶은 걸까?"

처음에는 제 반려봇을 채널 방에 추가하는 과제만 하려고 했는데,
하다 보니 제 생활과 업무에서 반복되는 문제를 다시 보는 방향으로 스터디를 진행하게 되었습니다.

진행 방법

1. 헤르메스를 다시 공부해봤습니다

우선 헤르메스가 뭔지부터 다시 정리했습니다.

제가 이해한 헤르메스는 단순히 대화하는 AI라기보다, 제 컴퓨터와 노트, 텔레그램, 파일, 크론잡 같은 것들을 실제로 다룰 수 있는 실행형 에이전트에 가깝습니다.

ChatGPT나 Claude가 생각 정리와 글쓰기에는 편하지만, 매번 제가 맥락을 다시 넣어줘야 합니다. Claude Project는 특정 주제의 맥락을 유지하는 데는 꽤 좋습니다. 저도 이미 어느 정도 자동화해서 잘 쓰고 있고요.

그런데 헤르메스는 조금 다릅니다. 파일을 읽고, 노트를 만들고, 반복 작업을 예약하고, 필요하면 스킬로 절차를 저장합니다. 그러니까 "답변을 잘하는 AI"라기보다 "내가 반복해서 미루는 일을 대신 굴려보는 운영 도구"에 더 가깝게 느껴졌습니다.

2. 멀티 에이전트도 아직 어렵습니다

멀티 에이전트도 찾아봤습니다.

처음에는 그냥 에이전트를 여러 개 만들면 멀티 에이전트라고 생각했습니다. 그런데 스터디장 승현님의 자료를 보니 멀티 에이전트의 구조도 다양하다는 것을 알게됐습니다.

다중 에이전트

여기까지 정리하고 나니, 오히려 더 조심스러워졌습니다.

멀티 에이전트 구조는 멋있어 보이지만, 지금 제게 정말 필요한지는 아직 모르겠습니다. 에이전트를 많이 만든다고 문제가 자동으로 해결되는 건 아니니까요.

그래서 일단은 "무엇을 자동화할지"부터 좁히기로 했습니다.

3. 외부 사례를 보면서 힌트를 얻었습니다

참고한 사례 중 하나는 조쉬 뉴스레터의 Hermes Agent 실사용기였습니다.

글에서는 Hermes를 3주 정도 실제로 사용한 사례가 나옵니다. Gmail 정리, 개인 메모리, 안드로이드 폰에서 돌아가는 에이전트, Obsidian 연결 같은 내용이 인상적이었습니다.

특히 기억에 남은 건 "나의 모든 정보를 던져주고 이를 통해 자동화 할 부분을 추천받는다"는 부분이었습니다. 보안 때문에 조금 무섭기도 한데, 동시에 내가 이걸 써먹을 수 있나..? 막막했던 차에 갈피가 잡히는 느낌이었습니다.

그래서 생각했습니다.

"저 정도까지는 아니더라도, 나도 내 생활에서 계속 반복되는 작은 문제 하나는 해결해볼 수 있지 않을까?"

4. 나를 돌아보기

제 경우에는 업무 컴퓨터가 분리되어 있습니다. 그래서 업무에서 바로 깊게 쓰는 자동화는 조심스러웠습니다.

그리고 업무에서 제가 자주 쓰는 맥락이나 프롬프트는 Claude - Project에 쌓아두고 있고, 업무 관련 초안도 거기서 꽤 처리합니다. 그러니까 "Claude Project를 헤르메스로 대체하자"는 방향은 별로 필요하지 않았습니다.

대신 계속 아쉬웠던 게 있었습니다.

저는 자료를 여기저기 저장합니다. 링크도 보내고, 메모도 하고, 나중에 봐야지 하고 쌓아둡니다.
문제는 쌓아둔 자료를 잘 안 보고, 잊어버리고, 어디에 저장했는지도 자주 까먹습니다.

결국 제 문제는 "자료 수집"이 아니라 "자료를 다시 꺼내 쓰는 것"에 가까웠습니다.

5. 내 기억을 가져오자

자동화 대상을 좁히다 보니, 결국 제일 먼저 해야 할 일은 "내 기억을 가져오는 것"이었습니다.

아래는 제가 평소에 흩뿌려놓은 자료(=기억)들입니다.

  • 카카오톡 나에게 보내기에 던져둔 링크

  • Notion에 써둔 업무/개인 메모

  • Claude와 나눈 LLM 대화 기록

  • Apple 메모장에 적어둔 생각과 체크리스트

  • 나중에 보려고 저장해둔 웹 링크

문제는 이 자료들이 각각 따로 있다는 점이었습니다.

카카오톡에는 링크가 있고, Notion에는 정리하다 만 메모가 있고, Claude에는 꽤 유용한 인사이트가 녹여진 대화가 있는데, 막상 필요할 때는 어디에 있었는지 잘 안 떠오릅니다. 저장은 열심히 하는데 다시 꺼내 쓰는 힘이 약한 셈입니다.

그래서 질문을 세 개로 나눴습니다.

무엇을 가져올 것인가? 어디로 가져올 것인가? 어떻게 정리할 것인가?

무엇을 가져올지는 비교적 명확했습니다. 카카오톡 나에게 보내기 기록, Claude 대화 기록은 직접 파일을 다운로드 받아서 가져왔고. Notion, Apple 메모장은 API 연동을 통해 가져왔습니다.

  • 노션: 개발자 페이지에 접속해 다음 방식을 참고해 진행 (Read only로 진행)

  • 메모장: 헤르메스에 물어보면 알아서 긁어와줌)

  • 시행착오: ChatGPT 대화 기록은 내보내기가 오래걸리는 것 같습니다. 아직 못받았어요. 제미나이는 통으로 내보내기가 안되고 대화별로 일일히 내보내야 한답니다. 그래서 Claude 대화만 내보냈습니다...

오픈 AI

가져올 때 가장 걱정되었던 보안 문제는, [Privacy Rules] 설정을 요청했습니다.

검은색 화면의 개인 정보 보호 규칙 페이지 스크린샷


어디로 가져올지는 Obsidian으로 정했습니다. 이유는 파일로 남고, 링크로 연결할 수 있고, 나중에 폴더 구조를 바꿔도 비교적 덜 불안할 것 같아서입니다...(는 지피티가 써준 얘기고 md파일에 익숙해지려고 해서.. + 폴더 구조가 눈에 잘들어와서 + 게시글끼리 연결되는 점이신기해서)

어떻게 정리할지는 아직 실험 중인데요, 이번에는 LLM Wiki라는 방식을 시도해봤습니다.

솔직히 말하면, 처음부터 정확히 알고 시작한 건 아닙니다... 지피티와 대화하다 RAG, LLM 위키 등 여러가지 추천을 받았는데, 요즘은 LLM Wiki가 더 좋다는 말을 들어서 "그럼 뭐가 다른 거지?" 싶은 상태로 시도해봤습니다. (아직도 완전히 이해하진 못한 것 같아요)

제가 지금 이해한 차이는 이 정도입니다.

  • RAG는 질문할 때 관련 문서를 찾아서 LLM에게 붙여주는 방식에 가깝습니다. 검색을 잘해서 답변을 돕는 쪽입니다.

  • LLM Wiki는 원천 자료를 사람이 다시 읽고 연결할 수 있는 지식 구조로 바꾸는 쪽에 가깝습니다. raw를 남기고, 요약하고, 필요하면 실전 인사이트나 실행 노트로 승격합니다.


이번에 헤르메스가 만들어준 제 LLM Wiki 구조는 이렇습니다.

HermesBrainVault/
├── raw/        # 원천 자료. Notion, Claude, ChatGPT, Gemini, Apple Notes, KakaoTalk, Links
├── wiki/       # 정리된 지식. 카테고리, 링크, 웹요약, 실전인사이트, 액션, 리뷰
├── schema/     # 운영 규칙. 명령어, 태그, 개인정보 처리 기준
└── _system/    # 백업, 마이그레이션, 리뷰 리포트, 스크립트, 상태 기록

(옵시디언 Graph에서는 이런 식으로 보여집니다)

검은색 화면에 점이 있는 이미지

조금 더 풀면 이런 흐름이라고 하네요 (지피티 왈)

raw에 일단 가져온다
→ wiki에서 읽을 수 있게 정리한다
→ 쓸모 있는 건 실전 인사이트로 뽑는다
→ 실제로 할 일은 action으로 승격한다
→ log에 남긴다

이 방식이 완벽한지는 아직 모르겠지만, 문제는 쌓은 자료를 다시 못 찾을 때 저렇게 정리해둔 자료를 바탕으로 지지(제 봇)이 적절한 답변을 해주길 바라는 마음에 지지(제 봇)에게 물어봤습니다.

단어가 적힌 종이 한 장

그 중 "내 위키에서 자동화하면 좋을 반복잡업 후보를 우선순위로 정리해줘."를 물어봤더니 이렇게 답해주네요.

한국 왓츠앱 스크린샷

6. 첫 번째 자동화: 텔레그램 링크를 LLM Wiki에 넣기

위에 지지가 추천해준 대로, 첫 번째 자동화를 "텔레그램 링크를 LLM Wiki에 넣기"로 시도해봤습니다.

텔레그램이나 채팅창에 링크를 보내면, 지지(제 봇)가 먼저 요약하고, 필요하면 LLM Wiki에 저장하는 흐름입니다.

흐름은 이렇습니다.

링크/영상 전달
→ 먼저 요약해서 답변
→ 원문 링크와 요약을 raw 또는 wiki에 저장
→ 오래 쓸 만하면 실전 인사이트로 승격
→ index와 log 갱신

단순히 "요약해줘"라고 하면 먼저 요약만 합니다. 그리고 "저장해줘", "LLM Wiki에 넣어줘"라고 하면 바로 저장합니다.

이걸 해두면 적어도 "그 링크 어디 갔지?"를 조금 덜 하게 될 것 같습니다.

7. 두 번째 자동화: 매주 월요일에 저장한 자료물 다시 보기

두 번째는 주간 리뷰입니다.

자료를 저장만 하면 또 안 볼 가능성이 높습니다. 그래서 매주 월요일에 LLM Wiki를 훑고, 그중에서 이번 주에 볼 만한 것과 직접 액션으로 가져갈 만한 것을 골라달라고 했습니다.

현재는 이런 식으로 잡아두었습니다.

매주 월요일 13:40
→ 실전 인사이트 5개 읽기
→ 후속 액션 2개 고르기
→ 그중 1개를 실행 노트로 승격
→ 텔레그램으로 요약 받기
한국어 문자 메시지 �스크린샷

지지(제 봇)가 이런 식으로 답변을 주게 됩니다. (아직 만들어준 스킬을 그대로 넣은 거라 수정이 좀 필요해 보입니다)

아직 사이클을 많이 돌려본 건 아니라 이르지만, 방향은 마음에 듭니다!

제가 링크를 저장하는 행동은 그대로 두고, 나중에 다시 꺼내 보는 부분만 에이전트가 도와주는 점이 좋아요.

8. 지금 생각 중인 에이전트 구조

헤르메스에게 제 개인 에이전트 구조도 추천받아봤습니다.

대략 이런 라우터 구조였습니다.

Main Router: 전체 요청 분류
ㄴ Work: PM, UX, 데이터 분석
ㄴ Finance: 자산관리,리서치
ㄴ Dev/Ops: Hermes, 자동화 (<- 이번에 진행한 것)
ㄴ Personal Ops: 텔레그램, 노트, 캘린더, 생산성 (<- 이번에 진행한 것)
ㄴ Learning/Writing: 포트폴리오, 회고, 글쓰기

다만 아직 이걸 전부 만들 단계는 아닌 것 같습니다.

지금은 멀티 에이전트를 쓸 만큼 필요성과 이유가 명확하지 않습니다. 그래서 우선은 Personal Ops와 Dev/Ops에 가까운 "링크 저장과 주간 리뷰"부터 작게 검증해보려고 합니다.

결과와 배운 점

이번 주에 배운 건 제가 자동화하고 싶은 문제가 뭔지 조금 더 선명해졌다는 점입니다.

앞으로 제가 만든 자동화를 통해 헤르메스를 "더 많이 저장하는 도구"가 아니라 "저장한 것을 다시 꺼내오게 만드는 도구"로 써보려고 합니다.

  • 기타 시행착오

    • 헤르메스 업데이트를 안해줬더니 먹통이 된 점 (주기적 업데이트 해주기)

  • 앞으로 하고 싶은 것

    • 노션 등 주기적으로 raw 데이터 동기화시키기

    • LLM 위키에서 깨진 url이 많아서 이거 해결해보기

    • 헤르메스 구조가 궁금하니 좀 더 알아보기(어디에 무엇이 어떻게 저장되는건지... 대화한 걸 바탕으로 더 똑똑해진다는데 그 메모리는 어디에 어떤 형태로 저장되는건지...)

도움 받은 글

4
3개의 답글

뉴스레터 무료 구독