본문으로 건너뛰기

로컬 LLM 사용법: Hermes Agent로 모델 호출하기

JAEI

2026.05.23

로컬 LLM 사용법: Hermes Agent로 모델 호출하기 본문 이미지

로컬 LLM 사용의 시작

Hermes Agent에서 로컬 LLM을 연결하고 사용했을때 어느 정도 성능이 나는지 궁금했습니다.

요즘 LM Studio, Ollama, OpenRouter, NVIDIA API 같은 도구 이야기를 많이 보는데, 초보자 입장에서는 각각의 역할이 헷갈렸습니다. 그래서 이번에는 먼저 Hermes Agent와 LM Studio를 연결해서 로컬 모델을 호출하는 것을 목표로 잡았습니다.

OpenRouter와 NVIDIA API도 함께 살펴보았지만, 이번 사례에서는 우선 API Key만 발급받아 Hermes Agent에 등록해두는 단계까지 진행했습니다. 실제로 연결해서 테스트한 부분은 LM Studio 로컬 서버 연결입니다.

이번 작업을 통해 제가 이해한 구조는 다음과 같습니다.

Open optionsauto

Hermes Agent = 모델을 불러와 사용하는 에이전트 도구
LM Studio = 내 컴퓨터에서 로컬 모델을 실행하는 도구
OpenRouter = 여러 외부 AI 모델을 API로 연결하는 서비스
NVIDIA API = NVIDIA에서 제공하는 모델 API 서비스

Hermes Agent와 LM Studio 연결 방법

먼저 Hermes Agent를 설치하고 설정 화면을 확인했습니다.

그다음 OpenRouter와 NVIDIA API는 각각 사이트에서 API Key를 발급받아 Hermes Agent에 등록해두었습니다. 이번에는 외부 API 모델을 본격적으로 테스트하기보다는, 나중에 사용할 수 있도록 키만 먼저 연결해두는 정도로 진행했습니다.

실제로 연결 테스트를 진행한 것은 LM Studio였습니다.

LM Studio를 설치한 뒤, 로컬 모델을 다운로드하고 실행했습니다. 저는 Mac 환경에서 테스트했기 때문에 Apple Silicon에 맞는 MLX 버전 모델을 사용해보았습니다. 테스트용으로는 Gemma 4 26B A4B 4bit MLX 모델을 다운로드해서 실행했습니다.

LM Studio에서 모델을 로드한 뒤, Local Server 기능을 켜서 로컬 모델을 API처럼 사용할 수 있게 만들었습니다. 기본 주소는 아래와 같은 형태였습니다.

Open optionsauto

http://127.0.0.1:1234/v1

이 주소를 Hermes Agent에 입력해서 LM Studio와 연결했습니다.

로컬 모델 호출 결과와 배운 점

결과적으로 Hermes Agent에서 LM Studio 로컬 모델을 호출하는 것까지 성공했습니다.

이번 과정에서 가장 크게 배운 점은 로컬 모델도 LM Studio의 Local Server 기능을 사용하면 외부 API처럼 Hermes Agent에 연결해서 사용할 수 있다는 점이었습니다.

또한 컴퓨터 사양과 환경에 따라 사용할 수 있는 모델과 포맷이 달라진다는 점도 배웠습니다. Mac 환경에서는 Apple Silicon에 최적화된 MLX 버전이 잘 맞을 수 있고, NVIDIA GPU 환경에서는 GGUF나 CUDA 기반 실행 방식이 더 적합할 수 있다는 것을 알게 되었습니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

오호!! 맥 사양하고 실제 lm studio에서 챗 치면 반응속도 어느정도 되는지 궁금합니다.

MC맥돌 프로필 이미지
MC맥돌2026.05.23

로컬 LLM과 Hermes Agent 연결이라는 첫 단계를 정리해주셔서 감사합니다!
처음 접하는 분들이 가장 어려워하는 '연결' 부분을 명확하게 알려주셔서, 저처럼 막막했던 분들에게 큰 도움이 될 것 같아요.
스터디의 첫 시작이 이렇게 알차게 이루어져서 정말 뿌듯합니다. 앞으로도 꾸준한 공유 기대할게요!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기