본문으로 건너뛰기

같은 모델인데 왜 더 느릴까? — 로컬 AI 셋업 시행착오

스티브신

2026.05.24

소개

내 Mac(M5, 24GB)에서 Hermes Agent를 로컬 AI로 돌리고 싶었다. 매번 클라우드 API 호출 비용도 부담스럽고, 응답 속도도 내 손에 두고 싶었기 때문이다.

문제는 단순하지 않았다. Hermes는 최소 64,000 토큰 컨텍스트를 요구하는데, 막상 모델을 골라 깔아보면 "32K 한계"라며 거부당하는 경우가 많았다. 더 황당한 건, LM Studio에서 직접 쓰면 빠른 모델이 Hermes를 거치면 답답할 정도로 느려졌다는 것.

진행 방법

Claude Code와 같이 시행착오를 정리하면서, 세 가지 함정에 차례로 부딪혔다.

1) "Qwen2.5 = 128K"라는 착각

- 모델 카드에는 128K라고 적혀 있지만, 실제 일반 빌드는 32K 고정

- 128K는 YaRN 스케일링이 적용된 별도 빌드에서만 가능

- → Hermes 64K 요구를 못 채워서 사용 불가

2) 같은 모델인데 Hermes가 더 느린 이유

- Hermes는 매 턴 시스템 프롬프트(툴 정의 + 페르소나 + 규칙)에 5K~15K 토큰을 더 얹는다

- personality: kawaii 같은 무거운 페르소나가 속도를 크게 갉아먹음

- VL(비전) 모델은 텍스트만 쓸 거면 비전 인코더 오버헤드만큼 손해

3) Apple Silicon 통합 메모리 최적화 핵심 설정

- Context Length 65536 정확히 (더 늘리면 메모리 압박)

- K/V Cache는 Q8_0 양자화로 메모리 절감

- Flash Attention 필수, Concurrent Predictions는 1로 (KV 캐시 절약)

- Keep Model in Memory ON, Try mmap ON

최종 후보 모델은 Gemma 4 E4B (131K 컨텍스트 확인)와 Qwen2.5-7B-Instruct-1M-GGUF (1M 컨텍스트 명시) 두 개로 좁혔다.

메모리 가계부 (64K 컨텍스트, 24GB Mac 기준)

항목

사용량

macOS 시스템

~7GB

모델 (Q4_K_M)

~4GB

KV 캐시 64K (Q8 양자화)

~4-5GB

여유

~8GB

결과

- Before: 모델만 막무가내로 깔다가 "context window가 부족합니다" 메시지로 시간 날림. 같은 모델인데 Hermes에서만 느린 이유를 몰라서 답답.

- After: 64K 검증 → LM Studio 최적화 → Hermes 설정까지 한 호흡으로 정리된 체크리스트 완성. 다음에 다른 모델로 갈아탈 때도 5분이면 셋업 가능.

남은 숙제: 실제 응답 속도(tok/s, 첫 토큰까지의 지연) 측정과 페르소나 concise 적용 효과 검증. 그리고 Openclaw에 있는 팀 셋업을 Hermes로 옮겨와서 실행해보기\

배운 점

1. 모델 카드의 컨텍스트 수치를 의심하라 — "최대 128K 지원"이라고 적혀 있어도, 실제 빌드는 32K일 수 있다. 다운로드 전에 LM Studio UI에서 "Model supports up to X tokens" 표시를 직접 확인하는 게 가장 확실하다.

2. 에이전트가 느린 건 모델 탓이 아닐 수 있다 — 시스템 프롬프트, 페르소나, 툴 정의가 매 턴 토큰을 잡아먹는다. 페르소나를 concise로 바꾸는 것만으로도 체감 속도가 달라진다.

3. 로컬 AI는 메모리 가계부 싸움 — 24GB Mac에서 64K 컨텍스트를 굴리려면 K/V 양자화, Flash Attention, Concurrent Predictions=1 같은 옵션이 단순히 "있으면 좋은" 게 아니라 "안 켜면 죽음"의 영역이다.

도움 받은 글 (옵션)

https://www.gpters.org/nocode/post/finding-optimal-setting-values-7G0aMAeK2GhslYz

https://www.gpters.org/nocode/post/ai-agent-installation-guide-da1iLvYl078zPS8

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

그냥 lm구동에서 헤르메스 넘어갈때 메모리를 더먹는 현상이 있더라고요..

그래서 윈도우 환경인 경우 vram을 우선쓰고 부족하면 오프로드로 램가져오고 램으로 부족하면 ssd까지 일시적으로가는 형태인데 대게 높은 모델쓰면 페이징파일 프리징을 넘어 병목현상으로 엄청느려지더라고요. Lm에서 헤르메스갈때 비교적 넉넉해야 돌아가는거같습니다.

MC맥돌 프로필 이미지
MC맥돌2026.05.27

메모리 가계부 흥미롭네요 ㅎㅎㅎ

이제 속도 문제는 확인하셨으니 어떤걸 할지 정하시면 되겠는데요?! ㅎㅎ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기