본문으로 건너뛰기

나만 이거 안 됐나? 2편 - gemma로 바꿨는데 뒤에서 GPT가 돌아가고 있었다

루키14

2026.05.23

📝 한줄 요약

gemma로 바꿨다고 생각했는데 사실 GPT가 몰래 돌아가고 있었고, 토큰이 바닥난 뒤에야 그 사실을 알았다.

바쁘시면 이것만 읽어도 돼요:

  • 에르메스 UI에 젬마라고 표시됐어도 복잡한 작업은 GPT-5.5가 처리하고 있었음 - 보이는 게 전부가 아님

  • 주간 토큰 소진 후 429 에러 반복 → fallback 설정이 작동 안 한 원인: 키 이름 하나가 틀렸던 것

  • Ollama 설치로 gemma(메인) + llama3.2(보조) 역할 분담 구조 완성

  • 에러가 계속 나면 Claude Code 같은 AI한테 로그째로 던져라 — 혼자 보면 절대 못 찾는다

  • 인터넷 없이도 작동, 민감한 파일도 외부 유출 없이 처리 가능한 구조까지 완성

  • 처음 하는 로컬 세팅은 에러 메시지만으로는 원인 파악 불가 — AI 모델이 탐색 파트너

🎯 이런 분들께 도움돼요

  • 1편을 읽고 로컬 모델 연결까지 해봤는데 또 에러가 난 분

  • GPT 유료 구독 쓰는데 토큰이 자꾸 소진돼서 비용 걱정되는 분

  • AI 설정했다고 생각했는데 "내가 진짜 이걸 이해하고 쓰는 건가?" 싶은 분

  • 회계·법무처럼 민감한 업무 데이터를 AI에게 맡기기 찜찜했던 분

😫 문제 상황 (Before)

1편에서 gemma를 Hermes에 연결하는 데 성공했습니다. 그때부터 gemma로 작업하고 있다고 생각했습니다.

그런데 갑자기 에러가 쏟아졌습니다.

API call failed after 3 retries: HTTP 429: The usage limit has been reached

429 에러는 사용량 한도 초과를 뜻합니다. 그런데 왜? 나는 무료 gemma를 쓰고 있었는데.

알고 보니 Hermes는 복잡한 작업을 만나면 자동으로 GPT-5.5에게 넘기는 구조였습니다. UI에는 분명 gemma라고 표시됐지만, 뒤에서는 GPT가 돌아가고 있었던 겁니다. 덕분에 답변 품질이 좋았던 거고, 덕분에 주간 토큰이 바닥난 거였습니다.

"어쩐지 그래서 퀄리티가 좋게 나왔구나" — 좋은 게 좋은 거라 생각했다가 뒤통수를 맞은 셈이었습니다.

fallback 설정도 이미 해뒀는데 왜 작동을 안 하는지 알 수 없었고, 처음 하는 로컬 세팅이다 보니 에러 메시지만 봐서는 어디가 문제인지 도무지 알 수가 없었습니다.

🛠️ 사용한 도구

  • Claude Code: 에러 분석, config 수정, Ollama 설치 가이드

  • LM Studio: google/gemma-4-e4b 로컬 모델 실행

  • Ollama: llama3.2:3b 로컬 모델 실행 (새로 추가)

  • Hermes Agent: AI 에이전트 프레임워크

  • 하드웨어: M5 Air (Apple Silicon, 16GB)


🔧 작업 과정

fallback을 설정했는데 왜 작동을 안 하지?

429 에러가 처음 떴을 때, 나는 이미 gemma를 fallback으로 설정해뒀다고 생각했습니다. GPT가 안 되면 자동으로 gemma로 넘어가야 했는데, 계속 같은 에러가 반복됐습니다.

API call failed after 3 retries: HTTP 429: The usage limit has been reached
gemma-4-e4b 연결한 Hermes에서 이러한 오류가 뜨는데 어떻게 해야하지?

Claude Code가 설정 파일과 로그를 뒤지더니 원인을 찾아냈습니다. 내가 설정에서 쓴 키 이름이 틀렸던 겁니다.

내가 쓴 이름: fallback_providers 올바른 이름: fallback_model

"providers(공급자들)"와 "model(모델)"은 완전히 다른 단어입니다. Hermes는 모르는 키를 만나면 에러를 내지 않고 그냥 무시합니다. 그래서 fallback 설정이 아예 없는 것처럼 동작했던 거였습니다. 에러 메시지 어디에도 "키 이름이 틀렸다"는 힌트는 없었습니다. 설정 파일 주석을 직접 읽어서 찾아낸 원인이었습니다.

1편에서 Hermes 소스코드를 뒤져서 64K 컨텍스트 요건을 찾아냈던 것처럼, 이번에도 겉으로 보이는 에러 메시지는 진짜 원인이 아니었습니다.

# 실제 반복된 에러 메시지
API call failed after 3 retries: HTTP 429: The usage limit has been reached

# 내가 설정한 config.yaml (작동 안 됨)
fallback_providers:        ← Hermes가 조용히 무시한 키
  provider: lmstudio
  model: google/gemma-4-e4b

# 올바른 설정 (실제로 작동하는 키)
fallback_model:            ← 이게 맞는 이름
  provider: lmstudio
  model: google/gemma-4-e4b

에러 메시지 어디에도 "키 이름이 틀렸다"는 힌트는 없었습니다. Hermes는 모르는 키를 만나면 에러를 내지 않고 그냥 없는 것처럼 넘어갑니다.


두 번째 로컬 모델 — Ollama 선택

gemma 하나만으로 버티는 것보다 역할을 나누는 게 낫겠다고 생각했습니다. 제목 생성이나 검색 같은 단순 작업을 전담할 가벼운 모델이 있으면, gemma는 진짜 대화에만 집중할 수 있으니까요.

올라마를 연결해서 써보자 한번

Ollama는 LM Studio처럼 로컬 모델을 실행하는 도구인데, 화면이 없는 백그라운드 서비스입니다. Mac이 켜질 때마다 자동으로 시작되고, 터미널에서 명령어 한 줄로 모델을 받아 씁니다.

모델을 고를 때 1편에서 배운 것이 바로 써먹혔습니다. Hermes는 최소 64,000 토큰 컨텍스트를 요구합니다. 자주 추천받는 qwen2.5:7b는 32K라서 사용 불가입니다. llama3.2:3b는 128K 컨텍스트에 용량도 2GB라서 선택했습니다.

설치하고 응답을 확인했더니 정상 작동했습니다.

┌─────────────────────────────────────────────────────┐
│               Hermes 오케스트레이션 구조                 │
├─────────────────────────────────────────────────────┤
│                                                     │
│  [사용자 요청]                                         │
│       ↓                                             │
│  ┌─────────────┐    복잡한 작업     ┌─────────────┐    │
│  │   gemma     │ ◄── (이전까지) ──► │  GPT-5.5    │   │
│  │  (메인 대화)  │                  │ (몰래 작동)   │   │
│  └─────────────┘                  └─────────────┘   │
│       ↓  (설정 완료 후)                               │
│  ┌─────────────┐   단순 작업 위임    ┌─────────────┐   │
│  │   gemma     │ ──────────────►  │ llama3.2:3b │   │
│  │  (메인 대화)  │                  │ 제목·압축·검색 │   │
│  └─────────────┘                  └─────────────┘   │
│       ↓  (gemma 다운 시)                              │
│                         자동 전환 → llama3.2:3b       │
│                                                     │
│  ✅ GPT 없이 gemma + ollama만으로 완전 로컬 운영          │
└─────────────────────────────────────────────────────┘

역할 분담 구조 완성 — 오케스트레이션(Orchestration)

여러 AI 모델이 역할을 나눠 협력하는 구조를 오케스트레이션(Orchestration)이라고 부릅니다. 지금 만든 게 바로 그겁니다.

최종 구조는 이렇게 됩니다.

역할

모델

특징

메인 대화

gemma (7.5B)

품질 중심

제목 생성·압축·검색

llama3.2 (3B)

속도 중심

gemma 다운 시 폴백

llama3.2 (3B)

자동 전환

설정을 바꾸고 새 세션을 열었더니 상단에 lmstudio:google/gemma-4-e4b로 표시됐습니다. 이번엔 진짜 gemma가 메인으로 돌아가는 구조입니다.

📸 이미지 추가 위치: 새 세션 상단에 gemma로 표시된 Hermes 화면


"인터넷 없어도 되겠네" 재확인

인터넷 끊겨도 계속 이걸로 사용가능한가?
그러면 내가 전달한 파일만 가지고 rag로도 사용할 수 있겠네?

gemma도 로컬, ollama도 로컬. 인터넷 없이 작동합니다. 파일을 올려도 외부 서버로 나가지 않습니다.

회계팀장으로 일할 때를 생각해봤습니다. 재무 데이터나 내부 결산 자료는 어디에 올리기 찜찜한 정보들입니다. 이 구조라면 그런 파일도 로컬에서만 처리할 수 있습니다. 지금 당장은 육아휴직 중이라 쓸 일이 없지만, 복직하면 바로 써볼 수 있겠다는 청사진이 생긴 셈입니다.

✅ 결과 (After)

Before vs After

항목

Before

After

GPT 토큰 소진 시

에러로 멈춤

gemma·ollama로 자동 전환

보이는 모델 = 실제 모델

아님 (몰랐음)

이제 직접 확인하고 씀

인터넷 없을 때

사용 불가

정상 작동

민감 파일 처리

외부 서버 전송 우려

로컬에서만 처리

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

  1. 에러가 계속 나면 AI한테 던져라. 로그 파일째로 "이거 왜 이래?"라고 물어보면 됩니다. Claude Code가 아니어도 괜찮습니다. ChatGPT든 어떤 AI든 에러 로그를 보여주고 계속 탐색하면 찾아집니다. 혼자 에러 메시지만 붙잡고 있으면 절대 못 찾습니다.

  2. 1편에서 배운 것이 2편에서 바로 써먹힌다. 64K 컨텍스트 요건을 알고 있었기 때문에 Ollama 모델을 고를 때 실수하지 않았습니다. 시행착오는 한 번으로 충분합니다.

이렇게 하면 안 돼요

  1. UI에 표시된 모델명을 그냥 믿지 마세요. 설정을 바꾼 뒤에는 반드시 새 세션을 열고, 상단에 실제로 어떤 모델이 표시되는지 확인하세요.(vs code 사용중입니다)

  2. 설정 키 이름은 공식 주석에서 확인하세요. 비슷해 보이는 이름(fallback_providers, fallback_model)이라도 하나는 작동하고 하나는 무시됩니다. 에러도 안 납니다.

🌍 다른 업무에 적용한다면?

이 구조는 특히 외부 유출이 민감한 업무에 유용합니다.

  • 회계·재무: 내부 결산 자료, 예산 데이터를 AI로 분석하되 외부 서버로 보내지 않을 때

  • 법무·계약: 계약서 검토를 AI에게 맡기면서 내용이 외부에 남지 않기를 원할 때

  • 인사: 직원 정보가 포함된 문서를 처리할 때

인터넷이 없는 환경에서도 작동하니, 보안이 엄격한 사내망 환경에서도 활용 가능성이 있습니다.

🚀 앞으로의 계획

실제 업무 문서를 Hermes에 올려서 RAG를 테스트해볼 예정입니다. 회계 자료처럼 민감한 파일에서 로컬 AI가 실제로 어느 수준까지 답변을 내놓는지 확인하고 싶습니다.

Ollama에는 아직 llama3.2:3b 하나만 받아놨는데, 용도에 따라 모델을 더 추가하는 것도 고려 중입니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

MC맥돌 프로필 이미지
MC맥돌2026.05.27

너무 잘 활용한 사례인데요?!

특히 토큰 소진시 로컬 사용하도록 하는게 아주 이번 스터디 주제에 딱 맞는것 같습니다!

자연어회계처리 프로필 이미지

Lm studio에 큰컨텍스트모델 오케스트레이션으로 하위 일꾼들 작은 동일컨텍스트모델로 햇을때 시너지효과 구성하는 탭이있습니다.llama가 아마 기본적으로 구성되었던거 같은데 고려해보시면 좋을듯합니다.

다른업무에 이용되는 구성이 세미 erp구축으로 볼수있겟군요!!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기