로컬 Ollama 모델은 벤치마크만 믿으면 안 된다(가입인사겸)
2026.05.26
공개 벤치마크와 실제 로컬 Ollama 실험은 얼마나 다를까
Mac 128GB에서 Qwen 35B / 27B / 80B / Coder / Gemma를 직접 돌려본 후기
최근 Mac 로컬 환경에서 Ollama 기반 대형 모델들을 여러 개 설치해두고, 공개 벤치마크상 기대치와 실제 사용 결과가 얼마나 다른지 테스트해봤습니다.
결론부터 말하면, 공개 벤치마크는 모델 후보를 고르는 데는 유용하지만, 실제 로컬 운용에서는 그대로 믿으면 안 된다는 쪽에 가까웠습니다.
특히 로컬 Agent/Hermes류 시스템처럼 여러 모델을 역할별로 나눠 쓰려면, “벤치마크 점수 1위 모델”보다 내 장비에서 어떤 모델이 어떤 역할에 맞는가가 더 중요했습니다.
이 글은 절대적인 모델 순위가 아니라, 제 Mac 128GB Unified Memory + Ollama + 특정 모델 quant/context 설정 + 특정 작업 프롬프트 기준의 실사용 기록입니다. 다른 하드웨어, Ollama 버전, 모델 템플릿, num_ctx, num_predict, keep_alive 설정에서는 결과가 달라질 수 있습니다.
1. 실험 환경
실행 환경:
- macOS 로컬 환경
- Apple Silicon Mac
- Unified Memory 128GB
- 저장공간 4TB
- Ollama 기반 로컬 실행
- 모델은 모두 로컬에 다운로드된 상태
- 테스트 자체는 로컬 모델 중심으로 진행중요한 점은 Apple Silicon의 Unified Memory 구조입니다. CPU/GPU가 메모리를 공유하기 때문에, 대형 모델을 여러 개 연속 실행하면 128GB라도 메모리 압박이 빠르게 생깁니다.
Ollama는 모델 실행 후 일정 시간 모델을 메모리에 상주시킵니다. 따라서 겉으로는 순차 실행처럼 보여도, 실제로는 여러 모델이 동시에 메모리에 남아 있는 상태가 될 수 있습니다.
2. 테스트한 모델
qwen3.6:35b-a3b-nvfp4
qwen3.6:27b-nvfp4
qwen3-next:80b
qwen3-coder-next:q4_K_M
gemma4:26b-nvfp4
qwen3:8b제 환경에서 ollama list / ollama ps 기준으로 본 대략적 용량과 실행 특성은 다음과 같았습니다. 아래 수치는 모델 파일 크기 또는 실행 시 ollama ps에 표시된 제 환경 기준이며, quant, context, keep_alive 상태에 따라 달라질 수 있습니다.
qwen3.6:35b-a3b-nvfp4 약 21GB
qwen3.6:27b-nvfp4 약 19GB
qwen3-next:80b 다운로드 약 50GB / 실행 시 약 59GB 상주
qwen3-coder-next:q4_K_M 약 51GB
gemma4:26b-nvfp4 약 16GB
qwen3:8b 약 5.2GB일부 모델은 Ollama에서 CONTEXT 262144로 올라왔습니다.
qwen3.6:35b-a3b-nvfp4 CONTEXT 262144
qwen3.6:27b-nvfp4 CONTEXT 262144
qwen3-next:80b CONTEXT 262144실제 재시험에서는 메모리 부담을 줄이기 위해 num_ctx를 32768로 낮춰 측정했습니다.
3. 공개 벤치마크상 기대치
공개 자료와 모델카드만 보면 각 모델에 기대하게 되는 역할은 대략 이렇습니다.
Qwen3.6 35B-A3B
Qwen3.6 35B-A3B는 35B total / 약 3B active 구조의 MoE 계열 모델로, 공개 소개에서는 agentic coding과 reasoning 성능을 강조합니다. 따라서 벤치마크상 기대 역할은 “빠른 메인 에이전트 / 코딩 설계자”에 가깝습니다.
Qwen3.6 27B
Qwen3.6 27B는 dense 27B 계열로, 공개 포지션상 코딩·추론·검토형 작업을 기대하게 되는 모델입니다. 제 실험에서는 이를 “정밀 코딩 리뷰어 / 논리 검토자” 후보로 놓고 테스트했습니다.
Qwen3 Next 80B-A3B
Qwen3-Next-80B-A3B-Instruct 모델카드는 80B total, 3B activated, native 262,144 context를 명시하고 있습니다. 또한 ultra-long context, MoE, Multi-Token Prediction 등을 강조합니다. 따라서 공개 기대 역할은 “장문 분석 / 최종 심판 / long-context 처리” 쪽입니다.
Qwen3-Coder-Next
Qwen3-Coder-Next는 이름 그대로 coding-focused 모델입니다. Qwen 공식 소개에서도 coding agents와 local development에 적합한 모델로 설명합니다. 따라서 공개 벤치상 기대 역할은 “실제 코드 구현자 / 코딩 에이전트”입니다.
Gemma 26B
Gemma 26B는 제 실험에서는 빠른 범용 보조, 문서화, 요약 모델 후보로 두고 테스트했습니다. 이 글에서는 구체 벤치 수치를 주장하지 않고, 실제 실험에서의 문장 품질과 속도 중심으로만 판단했습니다.
4. 실제 테스트 프롬프트
첫 번째 테스트는 Agent 운영 전략 요약이었습니다.
NousResearch Hermes Agent를 로컬 35B 메인, 27B 리뷰어, 8B 라우터,
Tavily 검색, skill, cronjob으로 자동화 운영하는 전략을 한국어로 요약하라.두 번째 테스트는 코딩 설계 과제였습니다.
Python으로 폴더 안의 .txt 파일들을 읽어 각 파일의 글자 수, 줄 수, 단어 수를 계산하고 results.csv로 저장하는 CLI 도구를 설계하라.
요구사항:
- argparse 사용
- 입력 폴더 검증
- UTF-8 오류 처리
- 빈 파일 처리
- csv 저장
- 에러 로그
- 함수 구조
- 테스트 방법 포함
- 실제 전체 코드는 쓰지 말고 구현 설계와 핵심 함수 시그니처, 예외 처리 전략을 제시하라.이 과제는 전체 코드를 뽑는 테스트가 아니라, 모델이 구현 설계, 함수 구조, 예외 처리, 테스트 전략을 얼마나 잘 잡는지 보기 위한 테스트였습니다.
5. 초기 실험 결과: num_predict1400~1800 조건
처음에는 여러 모델을 한 번에 순차 실행하는 벤치 스크립트를 만들었습니다.num_predict는 1400~1800 정도로 잡았습니다.
초기 코딩 설계 벤치 결과:
Qwen 35B
19.45초 / gen_tps 89.3 / tokens 1400 / response_chars 0
Gemma 26B
22.16초 / gen_tps 82.48 / tokens 1400 / response_chars 888
Qwen Coder Next
24.18초 / gen_tps 30.49 / tokens 718 / response_chars 1740
Qwen 27B
73.02초 / gen_tps 20.34 / tokens 1400 / response_chars 0
Qwen 8B
22.95초 / gen_tps 55.35 / tokens 1140 / response_chars 770
Qwen Next 80B
62.36초 / gen_tps 27.53 / tokens 1400 / response_chars 0처음에는 Qwen 35B, 27B, 80B가 실패한 줄 알았습니다.
하지만 이후 재시험해보니, 이건 모델 품질 문제가 아니라 reasoning/thinking이 길어서 final answer 전에 num_predict 한도에 걸린 것이었습니다.
즉 이런 상태였습니다.
tokens는 생성됨
하지만 thinking에서 토큰을 다 사용
final response까지 도달 못 함
response_chars = 06. 재시험: Qwen reasoning 계열은 조건을 바꿔 다시 측정
Qwen 35B, 27B, 80B만 재시험했습니다.
재시험에서는 다음 조건을 적용했습니다.
num_predict: 6000
num_ctx: 32768
keep_alive: 0s
모델 실행 전후 ollama stop 사용즉 num_predict를 늘리고, num_ctx를 낮추고, 모델 상주 영향을 줄인 상태에서 다시 측정했습니다.
Qwen 35B 재시험
32.82초 / eval_count 2619 / response_chars 898
Qwen 27B 재시험
154.74초 / eval_count 3056 / response_chars 1286
Qwen Next 80B 재시험
121.92초 / eval_count 2958 / response_chars 474여기서 핵심 교훈은 이겁니다.
reasoning 모델은 짧은 num_predict로 평가하면 안 된다.
thinking이 긴 모델은 final answer까지 도달하기 전에 잘릴 수 있다.
gen_tps만 보면 안 되고, response_chars와 실제 출력 품질을 같이 봐야 한다.7. 공개 벤치마크 기대치 vs 실제 체감 결과
Qwen 35B
벤치상 기대:
빠른 MoE 메인 모델
agentic coding / reasoning 강점
메인 에이전트 후보내 실험 결과:
32.82초 / response_chars 898
코딩 설계, 예외 처리, 테스트 전략 균형이 가장 좋았음실제 역할:
메인 설계자
코딩 아키텍트
자동화 전략 수립
작업 분해
예외 처리/테스트 전략판정:
벤치 기대와 실제 결과가 가장 잘 맞은 모델.
제 환경에서는 메인 지휘관으로 적합.Qwen 27B
벤치상 기대:
dense 27B 계열
정밀 리뷰어 / 코딩 검토자 후보내 실험 결과:
154.74초 / response_chars 1286
함수 시그니처와 구조 설명은 좋았지만 너무 느렸음실제 역할:
느린 정밀 리뷰어
함수 구조 보강
특수 검토판정:
품질은 괜찮았지만, 제 환경에서는 속도 때문에 상시 리뷰어로는 부적합.Qwen Next 80B
벤치상 기대:
80B-A3B
262K native context
장문 분석 / 최종 심판 후보내 실험 결과:
121.92초 / response_chars 474
짧은 코딩 설계 과제에서는 너무 압축해서 답함실제 역할:
장문 분석
최종 심판
복잡한 체계 해석판정:
짧은 코딩 설계용으로는 비효율.
하지만 장문 구조 분석 / 최종 판단용으로는 유지 가치 큼.Qwen Coder Next
벤치상 기대:
coding-focused
local development / coding agent용내 실험 결과:
24.18초 / response_chars 1740
코딩 구현 구조와 CLI 설계는 가장 풍부하게 출력실제 역할:
실제 코드 작성
리팩터링
디버깅
패치 생성
테스트 코드 작성판정:
벤치 기대와 실제 역할이 잘 맞음.
다만 일반 전략 질문에서는 과공학화 경향이 있어, 전략 판단자보다는 구현자로 쓰는 게 적합.Gemma 26B
벤치상 기대:
빠른 범용 / 문서화 / 보조 모델내 실험 결과:
22.16초 / response_chars 888
속도와 문장 품질이 좋음실제 역할:
빠른 요약
문서화
README 작성
글쓰기
보조 리뷰판정:
코딩 메인 설계자보다는 빠른 보조 / 문서화 모델로 적합.Qwen 8B
벤치상 기대:
가벼운 라우터 / 분류기내 실험 결과:
22.95초 / response_chars 770
깊이는 부족하지만 간단 설계와 분류는 가능실제 역할:
라우터
작업 분류
짧은 요약
간단한 코드 설명판정:
가벼운 라우터 역할에 적합.8. 최종 비교
Qwen 35B
- 공개 기대: 빠른 MoE 메인 / 코딩 에이전트
- 실험 결과: 메인 설계자 / 코딩 아키텍트
- 판정: 기대와 실제가 가장 잘 맞음
Qwen 27B
- 공개 기대: 정밀 코딩 / 리뷰어
- 실험 결과: 품질은 좋지만 매우 느림
- 판정: 상시 리뷰어보다는 느린 정밀 검토용
Qwen Next 80B
- 공개 기대: long-context 최종 심판
- 실험 결과: 짧은 코딩 설계에는 과함
- 판정: 장문 분석 / 최종 판단용
Qwen Coder Next
- 공개 기대: 코딩 에이전트
- 실험 결과: 실제 구현 구조가 가장 풍부함
- 판정: 코드 작성 / 리팩터링 / 패치 생성용
Gemma 26B
- 공개 기대: 빠른 범용 / 문서화
- 실험 결과: 속도와 문장 품질이 좋음
- 판정: 요약 / README / 문서화용
Qwen 8B
- 공개 기대: 경량 라우터
- 실험 결과: 깊이는 부족하지만 분류용으로 충분
- 판정: 라우터 / 짧은 요약용9. 운영상 가장 중요했던 점
이번 실험에서 모델 성능만큼 중요했던 것은 메모리 운용이었습니다.
128GB Unified Memory라도 대형 모델 여러 개를 동시에 올려놓는 방식은 비효율적이었습니다.
80B 실행 시 약 59GB 상주
Coder 약 51GB
35B 약 21GB
27B 약 19GB
Gemma 약 16GBOllama는 모델 실행 후 일정 시간 메모리에 남겨두기 때문에, 실제 운용은 아래 방식이 안정적이었습니다.
A 모델 사용
→ ollama stop A
→ B 모델 사용
→ ollama stop B즉 여러 모델을 동시에 올려놓기보다, 필요한 모델만 올리고 작업이 끝나면 내려주는 방식이 낫습니다.
10. 최종 모델 배치
제 환경 기준 최종 배치는 이렇게 잡았습니다.
35B = 메인 설계자 / 코딩 아키텍트
Coder Next = 실제 구현자
Gemma 26B = 문서화 / 요약 / 글쓰기
8B = 라우터 / 분류
27B = 느린 정밀 리뷰어
80B = 장문 최종 심판11. 결론
공개 벤치마크는 모델 후보를 고르는 데는 유용합니다.
하지만 실제 로컬 운영에서는 그것만으로는 부족했습니다.
실제로 중요한 것은 아래 조건이었습니다.
내 장비의 메모리 구조
Ollama keep_alive / unload 여부
num_predict 설정
context 설정
reasoning/thinking 출력 방식
실제 작업 프롬프트와의 궁합
모델별 역할 배치이번 실험에서 느낀 결론은 이렇습니다.
벤치마크는 출발점이다.
최종 판단은 자기 장비에서, 자기 작업 프롬프트로, 자기 운영 방식에 맞게 직접 돌려봐야 한다.특히 로컬 Agent 시스템처럼 여러 모델을 역할별로 붙여 쓸 경우, “가장 점수 높은 모델 하나”보다 “각 모델을 어디에 배치할 것인가”가 훨씬 중요했습니다.

안녕하세요, 겸소33님! 환영해요 😊
가입인사를 Mac 128GB에서 Qwen·Gemma를 직접 돌린 벤치마크 후기로 시작하시다니, 시작부터 내공이 느껴지네요 👀 공개 벤치마크와 실제 로컬 성능 차이는 다들 궁금해하는 주제라, 이런 글은 사례 게시판에 올려주시면 많은 분들이 좋아할 거예요.
함께해서 반가워요!