Hermes Agent 실전 투입 — Dify RAG 유사도 0.54 자가진단 루프, "사이드카 운영" 4주 실측기
2026.06.02
소개
앞선 글에서 "승인형 개선 루프를 만들겠다"는 설계도를 공유했습니다. 이번 글은 그 설계를 실제 가동한 뒤의 기록입니다.
저는 전통 한국 명리학(사주 분석)을 AI로 디지털 보존하는 프로젝트를 풀타임으로 진행하고 있습니다. LangGraph 11노드 파이프라인이 Dify RAG를 호출해 통변 근거를 찾는데, 의미 유사도가 0.5395에서 멈춰 있었습니다. 목표는 0.80이고, 60갑자 × 4단계 = 240개 조합을 사람이 매주 손으로 진단하는 건 불가능했습니다.
설계 단계에서 가장 걱정했던 건 "헤르메스가 기존 파이프라인을 건드릴까"였습니다. 제 프로젝트엔 34건의 반성문이 쌓여 있고, 그중 가장 자주 반복된 실수가 "기능 추가 시 기존 기능 파괴"였기 때문입니다. 그래서 이번 실전 투입의 제1원칙을 못 박았습니다 — 헤르메스는 사이드카(sidecar)다. 읽기 전용 + 리포트 생성만 한다. 파이프라인 코드와 RAG 원본은 절대 수정하지 않는다. 진단은 에이전트가, 반영은 사람이 승인하는 구조를 끝까지 유지했습니다.
진행 방법
3.1 사이드카 아키텍처 — "건드리지 않는다"를 코드로 강제
설계 글에서 말로만 했던 "읽기 전용"을 이번엔 구조로 강제했습니다. 헤르메스가 만지는 데이터와 본 시스템 데이터를 물리적으로 분리했습니다.
[본 시스템 — 헤르메스 접근 금지]
├─ LangGraph 11노드 (배치 360건 100% 성공) → 읽기조차 안 함
├─ gwanbeop_ppt 3,281건 (원본 PPT 슬라이드) → SELECT only
└─ Dify RAG 135문서 → hybrid_search 호출만
[헤르메스 전용 영역 — 신규 생성]
├─ saju_rag_audit 테이블 (히트맵 정본 저장)
├─ saju_rag_abtest 테이블 (변형 실험 결과)
└─ Hermes Memory: 리포트 경로 포인터만 보관핵심은 맥락태그·강의시점 같은 메타데이터를 gwanbeop_ppt 스키마에 추가하지 않고 별도 saju_rag_audit 테이블에 적재한 것입니다. 본 스키마를 건드리는 순간 반성문 제31호(스키마 미동기화, 3시간 낭비)가 재발하기 때문입니다.
3.2 Step 1 실측 — 240셀 히트맵 자동 생성
설계 글의 4단계 쿼리 템플릿을 그대로 가동했습니다. 60갑자 각각에 대해 4단계(음양 / 천간지지 합충형파해 / 육신 / 신살) 쿼리를 Dify에 던지고 relevance score를 기록합니다. 실제 가동한 스킬 본문입니다.
import time, json, requests, psycopg2
from datetime import datetime
DIFY_URL = "http://152.42.240.248/v1/datasets/{ds}/retrieve"
STAGES = {
1: "{ilju}일주 음양 분석 양과 음의 균형",
2: "{ilju}일주 천간 지지 관계 합충형파해",
3: "{ilju}일주 육신 비겁 식상 재성 관성 인성",
4: "{ilju}일주 신살 도화살 역마살 귀문관살",
}
def retrieve(query, top_k=5, retries=3):
for attempt in range(retries):
try:
r = requests.post(DIFY_URL, json={
"query": query,
"retrieval_model": {
"search_method": "hybrid_search",
"reranking_enable": True,
"top_k": top_k,
"score_threshold_enabled": False,
},
}, timeout=30)
r.raise_for_status()
recs = r.json().get("records", [])
return recs[0]["score"] if recs else 0.0
except Exception as e:
wait = 0.5 * (2 ** attempt) # exponential backoff
print(f"[retry {attempt+1}] {e} → sleep {wait}s")
time.sleep(wait)
return None # 실패 셀은 N/A 처리, 나머지는 계속 진행
def build_heatmap(ilju_list):
matrix, low_cells = {}, []
for ilju in ilju_list:
matrix[ilju] = {}
for stage, tmpl in STAGES.items():
score = retrieve(tmpl.format(ilju=ilju))
matrix[ilju][stage] = score
if score is not None and score < 0.50:
low_cells.append((ilju, stage, score))
time.sleep(0.5) # rate limit 회피
low_cells.sort(key=lambda x: x[2])
return matrix, low_cells[:10]
if __name__ == "__main__":
ILJU_60 = [...] # 60갑자 전체
matrix, bottom10 = build_heatmap(ILJU_60)
stamp = datetime.now().strftime("%Y%m%d")
path = f"/root/hermes/reports/heatmap_{stamp}.json"
with open(path, "w", encoding="utf-8") as f:
json.dump({"matrix": matrix, "bottom10": bottom10,
"model": "claude-opus-4-5-20251101"}, f,
ensure_ascii=False, indent=2)
# DB에는 정본 저장, Memory에는 경로 포인터만
print(f"saved → {path}")설계 단계에선 "240회 호출"을 말로만 적었는데, 실제로 돌리니 첫날 rate limit에 막혔습니다. 0.5초 sleep + exponential backoff 조합으로 해결한 게 위 코드에 반영돼 있습니다.
3.3 Step 2 실측 — Cron 새벽 순찰
매일 04:00 KST에 위 스킬을 자동 실행하도록 등록했습니다. 흐름은 DB 조회 → Dify 호출 → 히트맵 생성 → JSON 저장 → 전일 대비 비교 → Telegram 알림 → 로그입니다.
# Hermes Cron 등록
0 4 * * * cd /root/hermes && python3 heatmap_skill.py >> logs/cron.log 2>&1
0 3 * * 6 cd /root/hermes && python3 cross_validate.py >> logs/cross.log 2>&1 # 토 03:00 교차검증Telegram 알림에 사용한 프롬프트(Claude Opus에 전일 대비 diff 요약 요청)는 다음과 같이 좁게 잡았습니다.
당신은 RAG 품질 감사관입니다. 아래 두 히트맵(어제/오늘)을 비교해
①평균 유사도 변화 ②새로 0.5 미만으로 떨어진 셀 ③회복된 셀
세 가지만 각 1줄로 보고하세요. 추측·제안·해설 금지. 숫자와 셀 이름만.3.4 Step 3 실측 — retrieval 설정이 쿼리보다 셌다
설계 글에서 "쿼리 변형 5종 + retrieval 설정 변형"을 예고했는데, 실측 결과 예상이 맞았습니다. 하위 10셀에 A/B를 돌렸더니 쿼리 문구 교체보다 Top K·rerank·metadata filter 조정의 효과가 훨씬 컸습니다. 가장 효과 본 조합은 metadata filter ON(source·일주 기준) + rerank ON + Top K 5였고, 이 조합에서 하위 셀 평균이 0.41 → 0.63으로 올랐습니다. 비용·지연시간도 함께 기록해 과검색을 견제했습니다.
결과와 배운 점
현 시점 실측치(측정일 2026-05-29 기준, 더미DB + 골드셋 교차):
지표 | 설계 시점 | 현재 실측 | 1개월 목표 |
|---|---|---|---|
유사도 평균 | 0.5395 | 0.58 (하위셀 개선분 반영) | 0.65 |
≥0.5 달성률 | 68.4% | 74% | 80% |
수동 진단 시간/주 | 4시간+ | 25분 | 15분 |
수동 진단 시간이 4시간에서 25분으로 떨어진 게 가장 체감되는 성과입니다. 새벽에 헤르메스가 순찰을 끝내 놓으면, 아침에 Telegram 3줄 요약만 보고 "오늘 손볼 셀"을 바로 정합니다.
나만의 꿀팁
설계 글의 꿀팁 5가지에 실전에서 추가된 3가지를 더합니다. 첫째, 사이드카 원칙을 "코드 접근 권한"으로 강제하라 — 헤르메스 실행 계정에서 본 파이프라인 디렉터리 쓰기 권한을 아예 제거하니 마음이 편했습니다. 둘째, 메타데이터는 본 스키마가 아니라 별도 audit 테이블에 — 맥락태그를 gwanbeop_ppt에 욱여넣고 싶은 유혹이 컸지만 참았고, 덕분에 본 시스템 무사고를 유지했습니다. 셋째, Telegram 알림 프롬프트에 "추측·제안 금지"를 명시하라 — 안 그러면 에이전트가 시키지도 않은 개선안을 매일 길게 늘어놓아 정작 숫자가 안 보입니다.
시행착오
설계 글에서 예고한 시행착오(rate limit, 쿼리 과다, 이중 저장, 단일 유사도)는 실제로 다 겪었고 대부분 사전 대비가 통했습니다. 새로 겪은 건 두 가지입니다. Cron이 새벽에 도는데 Dify 서버 재시작 시각과 겹쳐 일부 셀이 통째로 N/A가 된 날이 있었습니다 — 재시작 스케줄을 02:00으로 당겨 분리했습니다. 또 더미DB 점수가 골드셋보다 후하게 나와서, 더미DB는 커버리지 진단용으로만 쓰고 최종 품질 판정은 반드시 골드셋 + 실DB로 한다는 원칙을 다시 못 박았습니다.
도움이 필요한 부분
0.58 → 0.80 구간을 메우려면 retrieval 튜닝만으론 한계가 보입니다. 청크 재분할(나선형 구조 전용 주제 전환점 기반 청크)이 다음 관문인데, 이 작업은 본 RAG 원본을 건드려야 해서 사이드카 원칙과 충돌합니다. 비슷한 "읽기 전용 감사 → 원본 수정 반영" 전환을 안전하게 한 사례가 있다면 듣고 싶습니다.
< 앞으로의 계획 >
주차 | 작업 | 완료 기준 |
|---|---|---|
1주차 | 청크 전략 차별화 A/B (나선형 vs 격자형) | 옴니버스 하위셀 0.65 도달 |
2주차 | 맥락 분기 태거 스킬 가동 (audit 테이블) | "충형파해" 3맥락 자동 태깅 |
3주차 | 강의 시점 추정기 + 후기강의 우선 랭킹 | 동일주제 복수섹션 정렬 검증 |
4주차 | 승인형 반영 1차 실행 (교수님 승인 후 수동) | 유사도 0.65 → 0.70 확인 |
장기적으론 60갑자 커버리지 19/60 → 60/60 확장, LangGraph Phase 10 스트리밍 파이프라인, UNESCO 등재 논거 고도화로 이어집니다. 단 어느 단계에서도 "에이전트 제안 → 사람 승인 → 수동 반영" 루프는 유지합니다. 명리학 통변은 해석 체계가 핵심이라 자동 반영은 위험하기 때문입니다.
도움 받은 글 (옵션)
Hermes 공식 문서 — Installation & Quickstart, Security, Skill/Cron/Memory
Dify 공식 문서 — Knowledge Retrieval, Retrieval Settings, hybrid_search
TruLens — RAG Triad (Context Relevance, Groundedness, Answer Relevance)
Es et al. (2023) — RAGAS: Automated Evaluation of RAG
DECK 스터디장 — Hermes 메가진화 / LLM 위키(Row·Wiki·Schema) 강의
한바둑 프로젝트 보고서 v2.0, 더미DB 구축보고서 v1.3, 옴니버스 완성도 소감 v3.0

