AI 에이전트를 굴리는 핵심은 모델보다 지식이다
2026.06.11
AI 에이전트를 굴리는 핵심은 모델보다 지식이다
AI 에이전트를 처음 설명할 때 사람들은 보통 모델부터 묻는다. “어떤 모델을 쓰세요?”, “Claude가 좋아요, GPT가 좋아요?”, “로컬 모델도 되나요?” 같은 질문이 먼저 나온다. 당연한 질문이다. 모델이 나쁘면 추론이 흔들리고, 도구 호출도 불안정해지고, 실패했을 때 무엇이 문제인지 판단하는 힘도 떨어진다.
그런데 허미스를 몇 주 동안 실제 작업에 굴리면서 점점 더 분명해진 것은 조금 다르다. 에이전트 성능에 가장 큰 영향을 주는 것은 모델이 아니라 지식이다. 모델은 두 번째다.
조금 더 정확히 말하면, 허미스 같은 에이전트의 성능은 “그 순간 어떤 모델이 답변하느냐”보다 “그 에이전트가 어떤 지식 환경 안에서 일하느냐”에 더 크게 좌우된다. 좋은 모델을 붙여도 지식이 없으면 매번 처음 보는 사람처럼 행동한다. 반대로 충분한 지식 구조가 있으면, 같은 모델도 훨씬 안정적으로 일한다.
GPters 허미스 메가진화 스터디 4주차에서 내가 공유하고 싶었던 핵심도 여기에 있다. 이제 개인 지식 관리(PKM)만 이야기할 때가 아니라, 에이전트 지식 관리(AKM, Agent Knowledge Management)를 이야기해야 한다.
개인 지식 관리에서 에이전트 지식 관리로
개인 지식 관리는 기본적으로 사람이 다시 읽기 위해 지식을 정리하는 일이다. 노트를 쓰고, 링크를 만들고, 태그를 달고, 나중에 검색해서 다시 생각한다. 좋은 PKM은 사람의 기억을 확장한다.
하지만 AI 에이전트를 운영하기 시작하면 질문이 바뀐다.
“내가 나중에 읽기 좋은가?”뿐 아니라 “에이전트가 이 지식을 읽고 바로 일할 수 있는가?”를 물어야 한다.
사람은 모호한 노트도 맥락으로 보정해서 읽을 수 있다. 예를 들어 “저번에 말한 방식대로”라고 써 있어도, 내가 쓴 노트라면 어느 정도 떠올릴 수 있다. 하지만 에이전트에게는 그것이 빈칸이다. 에이전트는 명시된 규칙, 절차, 예외, 실패 사례, 파일 위치, 산출물 기준, 검증 방법을 필요로 한다.
그래서 에이전트 지식 관리는 단순히 노트를 많이 쌓는 일이 아니다. 에이전트가 작업을 수행할 때 필요한 지식을 다음과 같이 나누어 관리하는 일에 가깝다.
사용자의 장기 선호와 말투
작업별 절차와 반복 워크플로우
실패 패턴과 복구 방법
프로젝트별 맥락과 금지사항
파일·폴더·출력 위치 규칙
좋은 산출물과 나쁜 산출물의 차이
크론, 스킬, 메모리, 세션 검색, 볼트 검색의 역할 분리
최종 결과를 검증하는 기준
사람이 보기에는 다소 운영 문서처럼 보일 수 있다. 하지만 에이전트에게는 이것이 작업 환경이다. 지식이 없으면 에이전트는 매번 즉흥적으로 판단한다. 지식이 있으면 에이전트는 조직 안에서 일하는 직원처럼 행동하기 시작한다.
허미스가 강해지는 지식의 층위
내가 허미스를 운영하면서 가장 유용하다고 느낀 지식 층위는 크게 네 가지다.
첫째는 사용자 프로필과 메모리다. 이것은 에이전트가 매번 다시 물어보지 않아야 할 안정적인 사실을 담는다. 예를 들어 어떤 말투를 선호하는지, 어떤 작업 공간을 주로 쓰는지, 어떤 보고 형식을 좋아하는지 같은 정보다. 단, 여기에는 오늘 끝낸 작업이나 임시 진행 상황을 넣으면 안 된다. 그런 정보는 금방 낡고, 나중에는 오히려 에이전트를 오염시킨다.
둘째는 스킬과 워크플로우다. 반복되는 작업 절차는 메모리가 아니라 스킬로 가야 한다. 블로그 글을 발행하는 법, 강의 녹음 전사를 정리하는 법, GitHub 작업을 검증하는 법, 이미지를 생성하고 패키징하는 법처럼 절차가 있는 지식은 에이전트가 실행 가능한 형태로 갖고 있어야 한다. 좋은 스킬은 “무엇을 하라”가 아니라 “어떤 순서로 확인하고, 어디서 실패하며, 어떻게 검증하라”까지 포함한다.
셋째는 프로젝트별 운영 지식이다. 특정 프로젝트에는 그 프로젝트만의 말, 파일 구조, 금지사항, 산출물 기준이 있다. 허미스는 매번 전체 세계를 다시 배우는 것이 아니라, 지금 맡은 프로젝트의 문맥을 읽고 그 안에서 움직여야 한다. 이 층위가 약하면 에이전트는 일반론은 잘 말하지만 실제 파일을 어디에 둘지, 무엇을 건드리면 안 되는지, 어떤 결과가 좋은 결과인지 모른다.
넷째는 검색 가능한 지식 저장소다. Obsidian 볼트, 운영 브레인, 세션 기록, 문서 그래프, 의미 검색 도구가 여기에 해당한다. 에이전트가 모든 지식을 항상 프롬프트에 들고 있을 수는 없다. 그래서 중요한 것은 “모든 것을 기억시키는 것”이 아니라 “필요할 때 정확한 지식을 찾아오게 하는 것”이다.
이 네 층위가 연결되면 에이전트는 단순 챗봇이 아니라 작업자에 가까워진다. 사용자의 선호를 알고, 절차를 알고, 프로젝트 맥락을 알고, 필요하면 과거 자료를 찾아온다.
모델은 중요하지만, 모델만으로는 부족하다
물론 모델은 중요하다. 좋은 모델은 지시를 덜 오해하고, 긴 문맥을 더 잘 다루며, 도구 결과를 보고 다음 행동을 더 안정적으로 고른다. 반대로 약한 모델은 실패했을 때 엉뚱한 원인을 말하거나, 고치지 말아야 할 스킬을 고치거나, 이미 있는 파일을 못 찾고 새로 만들기도 한다.
그래서 나는 허미스 성능에 영향을 미치는 요소를 굳이 순서로 말하면 이렇게 본다.
지식
모델
이 순서는 모델을 낮게 본다는 뜻이 아니다. 오히려 좋은 모델을 제대로 쓰기 위해 지식이 먼저 필요하다는 뜻이다. 모델은 엔진이고, 지식은 지도와 정비 기록과 운전 규칙에 가깝다. 엔진이 좋아도 지도가 없으면 헤맨다. 엔진이 평범해도 지도와 절차가 있으면 같은 길을 훨씬 안정적으로 간다.
AI 에이전트에서 자주 보이는 착각은 “더 좋은 모델을 붙이면 해결될 것”이라는 기대다. 어느 정도는 맞다. 하지만 일정 수준을 넘어서면 병목은 모델이 아니라 운영 지식이다. 에이전트가 무엇을 해야 하는지, 무엇을 하지 말아야 하는지, 어디서 확인해야 하는지, 결과물을 어떻게 판정해야 하는지 모르면, 가장 좋은 모델도 매번 임시 직원처럼 행동한다.
GPters 4주차 사례: 허미스는 지식이 쌓일수록 다르게 일한다
GPters 스터디에서 허미스를 다룰 때 흥미로웠던 점은 기능 자체보다 운영 방식이었다. 크론을 만들고, 메신저로 알림을 받고, 음성으로 깨우고, SNS 포스팅을 자동화하고, 음악 제작과 업로드를 맡기는 사례들이 나왔다. 이런 사례만 보면 허미스는 “자동화 도구”처럼 보인다.
하지만 자동화만으로는 설명이 부족하다. 중요한 것은 자동화가 반복되면서 지식이 쌓인다는 점이다.
예를 들어 어떤 사용자가 매일 설치 작업을 리마인드받는다고 해보자. 첫날에는 설치 링크와 큰 절차를 알려준다. 둘째 날에는 전날 막힌 지점을 기준으로 더 좁은 다음 단계를 알려준다. 사용자가 “이 부분은 너무 길다”, “명령어 중심으로 달라”, “결과만 간단히 알려달라”고 말하면 다음 실행에 반영된다.
이때 성능을 만든 것은 단순한 크론이 아니다. 크론은 실행 리듬일 뿐이다. 실제 성능은 사용자의 피드백, 작업 절차, 막힌 지점, 다음 행동 기준이 지식으로 정리되면서 나온다.
음악 자동화 사례도 마찬가지다. Suno로 곡을 만들고, 플레이리스트를 만들고, 썸네일과 비주얼라이저를 만들고, YouTube 업로드까지 이어지는 작업은 한 번의 프롬프트로 끝나지 않는다. 중간에 “파일 경로만 보내지 말고 실제 파일을 첨부하라”, “프리뷰를 먼저 보내라”, “타임스탬프 제목을 더 창의적으로 붙여라” 같은 피드백이 쌓인다. 이 피드백이 사용자 프로필에 아무렇게나 들어가면 오염이 된다. 반대로 작업 스킬과 레퍼런스로 정리되면 다음 자동화의 품질이 오른다.
가장 체감이 컸던 사례 중 하나는 TouchDesigner MCP였다. 같은 TouchDesigner MCP를 클로드 코드나 코덱스로 직접 돌릴 때보다, 허미스를 통해 돌릴 때 결과가 더 좋았다. 차이는 단순히 모델 호출 방식이 아니었다. 허미스는 작업 전에 TouchDesigner 관련 문서와 기존 도구 노트, 그리고 미디어아트 이론 관련 노트를 함께 읽고 참조했다. 그래서 단순히 “노드를 만들어라” 수준이 아니라, 실시간 영상 시스템, 인터랙션 구조, 설치 환경, 관객 경험, 미디어아트 맥락까지 고려한 판단을 할 수 있었다. 같은 MCP라도 어떤 지식 환경을 거쳐 실행되느냐에 따라 성능이 달라진다는 것을 보여준 사례였다.
내 DECK 운영도 같은 방향으로 움직였다. 처음에는 개인 지식 관리용 볼트였다. 하지만 허미스를 계속 붙이면서 볼트는 사람이 읽는 노트 저장소인 동시에, 에이전트가 일하기 위한 지식 환경이 되었다. 어디에 파일을 만들지, 어떤 문서는 볼트 밖에 둘지, 어떤 노트는 사람이 읽기 좋게 깊게 고쳐야 하는지, 어떤 크론은 줄이고 어떤 크론은 살릴지 같은 운영 판단이 모두 에이전트 성능에 영향을 준다.
프롬프트보다 중요한 것은 지속 가능한 지식 구조다
AI 사용법을 이야기할 때 여전히 프롬프트가 많이 강조된다. 좋은 프롬프트는 당연히 중요하다. 하지만 에이전트를 오래 굴리면 프롬프트보다 더 중요한 것이 보인다.
프롬프트는 그 순간의 요청이다. 지식 구조는 다음 요청의 품질을 바꾼다.
한 번 잘 쓴 프롬프트는 그 순간 좋은 답을 만든다. 하지만 좋은 스킬은 다음에도 비슷한 작업을 더 잘하게 만든다. 한 번의 자세한 설명은 그 대화에서만 유용하다. 하지만 잘 정리된 운영 문서는 다음 세션, 다음 크론, 다음 프로필에서도 유용하다. 한 번의 수정 피드백은 지금 산출물을 고친다. 하지만 피드백이 올바른 지식 층위에 저장되면 다음 산출물의 기본값이 바뀐다.
그래서 에이전트 운영에서 중요한 질문은 “어떻게 말하면 잘 알아들을까?”에서 “이 작업을 다음에도 잘하게 하려면 어떤 지식으로 남겨야 할까?”로 이동한다.
이 전환이 바로 개인 지식 관리와 에이전트 지식 관리의 차이다.
모든 사람에게 추천할 방식은 아니다
다만 이 방식을 모두에게 추천하진 않는다. 이유는 단순하다. 토큰이 많이 든다.
에이전트가 지식을 읽고, 스킬을 불러오고, 과거 세션을 검색하고, 볼트 문서를 확인하고, 결과를 검증하게 만들면 매번 더 많은 컨텍스트와 도구 호출이 필요하다. 짧은 질문 하나에 답하는 용도라면 과하다. 단순 번역, 요약, 아이디어 몇 개 뽑기 정도라면 굳이 에이전트 지식 관리까지 설계할 필요가 없다.
이 방식은 다음과 같은 사람에게 맞다.
반복되는 복잡한 작업을 에이전트에게 맡기고 싶은 사람
프로젝트가 여러 개이고 맥락 전환 비용이 큰 사람
개인 지식 저장소를 이미 운영하고 있는 사람
자동화 결과를 계속 개선하고 싶은 사람
에이전트를 단순 질의응답 도구가 아니라 장기 작업 파트너로 쓰고 싶은 사람
반대로 가끔 질문하고 답을 받는 정도라면, 좋은 모델 하나를 골라 간단히 쓰는 편이 낫다. 지식 구조를 만드는 데 드는 비용이 이득보다 클 수 있다.
에이전트에게 필요한 지식은 사람이 읽는 문서여야 한다
최근에 내가 다시 느끼는 중요한 기준이 있다. 에이전트용 지식이라고 해서 기계만 읽는 메타데이터가 되어서는 안 된다. 오히려 좋은 에이전트 지식은 사람이 읽어도 이해되는 문서여야 한다.
특히 Tool Note나 Technique Note는 그렇다. 예를 들어 “이 도구는 어떤 기능을 한다” 정도만 적힌 얇은 문서는 에이전트에게도 큰 도움이 되지 않는다. 사람이 읽고 이해할 수 있을 만큼 다음 내용이 들어 있어야 한다.
이 도구나 기법이 무엇인지
왜 중요한지
언제 쓰고 언제 쓰지 않는지
실제 작업에서 어떤 순서로 판단하는지
어떤 입력과 출력이 있는지
어디서 실패하는지
검증 기준은 무엇인지
다음 작업자나 에이전트에게 무엇을 넘겨야 하는지
결국 에이전트 지식 관리는 “기계가 읽을 수 있는 태그를 많이 붙이는 일”이 아니다. 사람이 이해할 수 있을 만큼 명확한 작업 지식을 만들고, 에이전트가 그것을 검색하고 적용할 수 있게 배치하는 일이다.
결론: 에이전트의 성능은 지식 환경의 성능이다
허미스를 쓰면서 내가 점점 더 확신하게 된 것은 이것이다.
AI 에이전트를 굴리는 핵심은 지식이다.
모델은 중요하다. 좋은 모델은 분명히 더 잘한다. 하지만 장기적으로 에이전트의 성능을 결정하는 것은 모델 하나가 아니라, 그 모델이 접근하는 지식 환경이다. 어떤 기억을 갖고 있는지, 어떤 스킬을 불러오는지, 어떤 문서를 읽는지, 어떤 실패 패턴을 아는지, 어떤 기준으로 결과를 검증하는지가 에이전트의 실제 성능을 만든다.
그래서 앞으로 AI 에이전트를 제대로 쓰려면 “프롬프트를 잘 쓰는 법” 다음 단계로 가야 한다. 이제 필요한 질문은 이것이다.
내 에이전트는 어떤 지식으로 일하고 있는가?
그 지식은 다음 실행을 더 낫게 만드는가?
그리고 그 지식은 사람도 읽고 고칠 수 있는가?
허미스 4주차 사례에서 내가 말하고 싶은 핵심은 여기에 있다. 개인 지식 관리는 나의 기억을 정리하는 일이었다. 에이전트 지식 관리는 나와 함께 일하는 에이전트의 작업 세계를 설계하는 일이다.




'모델이 먼저다'라는 직관을 정면으로 뒤집는 글이었어요. TouchDesigner MCP를 Claude Code·Codex로 직접 돌릴 때보다 허미스를 통해 돌릴 때 결과가 더 좋았다는 실제 사례가 논지의 중심을 잘 잡아줬어요.
AKM을 네 층위(사용자 프로필, 스킬·워크플로우, 프로젝트 지식, 검색 가능한 저장소)로 나눠 설명한 부분이 명확했어요. 특히 '에이전트용 지식이라도 사람이 읽어도 이해되어야 한다'는 기준이 인상적이었어요 — 태그만 잔뜩 붙이는 방식과의 차이가 거기에 있는 거니까요.
허미스 4주차 사례를 엮어서 이 정도 에세이로 정리하셨다니, 스터디를 단순 실습이 아니라 사고 훈련으로 쓰고 계신 게 느껴져요.
오 이 글 진짜 오래 두고 읽을 것 같다 👀