SOUL.md를 따르지 않는 Agent, 원인은 모델에 있었다
2026.06.03
소개
1주차에는 Hermes Agent를 이용해 서울시 행사 RSS 데이터를 수집하고 텔레그램으로 알림을 보내는 자동화 작업을 진행했습니다.
당시에는 RSS 수집, cron 작업 생성, 텔레그램 연동 자체에 집중했지만 작업을 진행하면서 예상보다 더 큰 문제를 발견하게 되었습니다.
바로 Hermes Agent에 연결한 로컬 LLM인 Gemma4가 Agent 운영에 적합하지 않을 수 있다는 점이었습니다.
앞으로 Hermes Agent 를 사용하기 위해서는 이 문제를 해결하지 않으면 안된다는 생각에 해결 방법을 찾으려고 Hermes 도 여러번 다시 설치도 해보고, 이런 저런 테스트를 진행하면서 많은 시행착오를 겪은 결과를 정리하고 싶었습니다.
특히 텔레그램에서 /reset 명령을 실행한 이후 SOUL.md에 정의한 규칙이 제대로 반영되지 않는 현상이 반복적으로 발생했습니다.
이번 주에는 이 문제의 원인을 추적하면서 Gemma4, Gemini API, Qwen3 모델을 비교해보았고 최종적으로 Hermes Agent의 LLM 구성을 변경하게 되었습니다.
진행 방법
기존 환경
기존 Hermes Agent 환경은 아래와 같이 구성되어 있었습니다.
Hermes Agent
└─ Ollama
└─ gemma4:e4bSOUL.md에는 다음과 같은 Agent 정체성이 정의되어 있었습니다.
Agent 이름
사용자 호칭
행동 규칙
응답 스타일
운영 환경 정보
Agent가 항상 해당 규칙을 기억하고 행동하기를 기대했습니다.
반복적으로 발생한 문제
실제로 사용해보니 여러 문제가 발생했습니다.
1. SOUL.md 규칙을 무시하는 현상
특히 텔레그램에서 /reset 명령을 실행한 이후 문제가 자주 발생했습니다.
예를 들어:
Agent 이름을 잊어버림
사용자 호칭을 잊어버림
SOUL.md에 정의한 규칙을 따르지 않음
일반적인 AI Assistant처럼 응답
같은 현상이 반복되었습니다.
Hermes Agent에서는 Persona가 매우 중요한 요소인데, Persona 자체가 유지되지 않는 상황이 발생했습니다.
2. 문맥 유지 문제
1주차 RSS 자동화 작업을 진행하면서도 비슷한 경험이 있었습니다.
예를 들어:
서울시 RSS Feed URL을 제공했음
해당 URL을 사용하라고 명시했음
그런데 작업을 진행하는 과정에서 전혀 다른 RSS Feed를 사용하거나, 사용자가 지정하지 않은 URL을 기준으로 스크립트를 생성하는 경우가 발생했습니다.
결국 사람이 직접:
RSS URL 재검증
수집 결과 확인
스크립트 재확인
과정을 반복해야 했습니다.
3. 응답 속도
Mac Mini M4 환경에서 사용했음에도 응답 속도가 상당히 느리게 느껴졌습니다.
특히:
여러 단계 작업
Tool 호출
긴 문맥 유지
가 필요한 작업에서는 체감 지연이 크게 느껴졌습니다.
간단한 질문은 괜찮았지만 실제 Agent 업무를 수행하기에는 답답함이 있었습니다.
Claude Code와 함께 원인 분석
왜 이런 현상이 발생하는지 Claude Code와 함께 분석해 보았습니다.
분석 과정에서 확인한 가설은 다음과 같았습니다.
Gemma 계열의 Persona 특성
Claude Code는 Gemma 계열 모델이 강하게 자신의 정체성을 유지하려는 경향이 있을 수 있다고 설명했습니다.
그 결과:
Agent Persona
사용자 정의 캐릭터
SOUL.md 기반 설정
등이 충분히 반영되지 않을 가능성이 있다는 의견을 제시했습니다.
실제로 제가 경험한 현상과도 상당 부분 일치했습니다.
모델 비교
Hermes Agent 관점에서 주요 후보들을 비교해 보았습니다.
항목 | Gemma4 | Qwen3 | Gemini API |
|---|---|---|---|
Persona 유지 | 낮음 | 우수 | 매우 우수 |
한국어 품질 | 보통 | 우수 | 우수 |
Tool Calling | 불안정 | 안정적 | 안정적 |
문맥 유지 | 아쉬움 | 양호 | 우수 |
응답 속도 | 느림 | 보통 | 빠름 |
오프라인 사용 | 가능 | 가능 | 불가 |
비용 | 무료 | 무료 | 무료 티어 존재 |
비교 결과 Hermes Agent 환경에서는 Gemma4보다 Qwen3와 Gemini API가 더 적합해 보였습니다.
Qwen3:14B 테스트
그래서 Ollama에 Qwen3:14B를 설치하고 직접 테스트를 진행했습니다.
테스트 항목은 다음과 같았습니다.
SOUL.md Persona 인식
사용자 호칭 유지
Tool Calling
한국어 응답 품질
Claude Code 를 통해 테스트한 결과는 예상보다 좋았습니다.
- Persona (이름) : 저는 Matrix입니다.
- Persona (사용자) : 당신은 항상 hope 님이라고 불러주세요.
- Tool calling : terminal 정상 호출
- 한국어 : 자연스러움와 같이 SOUL.md 내용을 정상적으로 반영하는 모습을 확인할 수 있었습니다.
Tool Calling 역시 정상적으로 동작했습니다.
최종 구성 변경
최종적으로 Hermes Agent 구성은 아래와 같이 변경했습니다.
Hermes Agent
├─ Primary : Gemini API
└─ Fallback : qwen3:14b설정 변경 후:
Persona 유지
Tool Calling
응답 속도
측면에서 훨씬 안정적인 구성이 되었습니다.
결과와 배운 점
이번 경험을 통해 단순히 모델 성능만 보고 Agent용 LLM을 선택하면 안 된다는 점을 알게 되었습니다.
특히 Hermes Agent처럼:
Persona 유지
Tool Calling
Workflow 실행
장기적인 문맥 유지
가 중요한 환경에서는 모델 특성이 매우 중요했습니다.
Gemma4는 일반적인 대화에서는 사용할 수 있었지만 제가 기대했던 Agent 운영 환경에서는 여러 한계가 있었습니다.
반면 Gemini API는 매우 안정적으로 동작했고, Qwen3:14B 역시 로컬 모델 중에서는 상당히 좋은 대안이었습니다.
앞으로 해보고 싶은 것
현재는 다음과 같은 구조를 목표로 하고 있습니다.
Future
├─ RSS 수집 Agent
├─ 데이터 정리 Agent
├─ 메시지 생성 Agent
├─ 텔레그램 발송 Agent
└─ 운영 모니터링 Agent다음 단계에서는 단일 Agent 구조를 넘어 Multi Agent 구조를 실험해 볼 계획입니다.
또한 추후에는 Agent별로 서로 다른 모델을 사용하는 방식도 함께 검증해 보고 싶습니다.
도움 받은 글
Hermes Agent 공식 문서
Ollama 공식 문서
Claude Code와의 분석 대화
Gemini API 문서
Qwen3 모델 문서



