본문으로 건너뛰기

커스텀봇 vs Hermes Agent — 같은 로컬LLM 모델인데 10초 vs 2.5분

Knock

2026.06.04

소개

사내 정책서(41개 md)를 Slack에서 자연어로 묻고 출처와 함께 답받는 봇. 로컬 LLM(요금 0), 답 못한 질문은 기록해 점점 개선, Hermes Agent도 시도.

진행 방법

  • 도구: Claude Code(bkit PDCA) + Ollama + Qdrant + Hermes Agent

  • 두 방향: ① 커스텀 RAG 봇 직접 구현 ② Hermes에 우리 검색을 MCP로 붙이는 하이브리드

  • 프롬프트 전문 + 표 보존 청킹 코드 포함

결과와 배운 점

  • 커스텀 봇 = 10초·정답·한국어·0원(운영판)

  • Hermes = 정확하나 ~2.5분

    • Hermes 속도 개선은 실패 — 여러 시도에도 30초 목표 못 맞춤(~2.5분), 미해결

  • 🔑 핵심 : "에이전트=강한모델 필요, 커스텀 봇=약한 로컬모델로 동작"

    구분

    내용

    검증된 것 (확실한 효과)

    표 보존 청킹 · 중국어 후처리 컷 ·

    에이전트=강한모델 / 결정적=약한모델로 동작

    • 에이전트 = 모델이 의사결정자 → 모델이 약하면 무너짐 → 강한 모델 필요(Local LLM으로 해결을 아직 못함)

    • 커스컴봇 = 코드가 의사결정자, 모델은 단순 작업자 → 약한 로컬 모델로도 동작

    시도했으나 미해결

    skills.disabled로 스킬 주입은 껐지만 도구 루프 143초가 안 잡힘 → 전체 속도 실패. 모델도 다 트레이드오프에 걸림

    도움 필요

    로컬에서 빠른+정확+도구호출 모델은 아직 못 푼 숙제

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

Ai 에이전트는 의사결정모델과 같다 생각해서 단순 가이던스의 명확한 답이 있다면 오히려 rag가 좋을수도 잇다 생각합니다. 다만 예외적인거 라던지 비슷한데 답변을 못한다건지(예를들어 품의서 작성 가이드로 rag를 짯는데 품의 가이드를 보고 알려줘 라고 햇을때 자연어 처리를 여러가지 상황에 맞게 하지 않앗다면 정확한 호출이 아니면 되지않는경우) 이런 단점이 잇긴합니다. 그래서 rag기반 봇은 오히려 많이 깍고 검증이필요하고 시간이 필요합니다만 명확한 가이드 선에서는 정말 좋습니다. 단 그전에 회사 사내 가이드 파일의 전처리가 일관되어야 잘됩니다. Rag봇 구현 도전 응원합니다!!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기