본문으로 건너뛰기

아무튼 로컬모델 1일차

kyung

2026.05.25

아무튼 로컬모델 1일차 본문 이미지

로컬모델 1일차: WSL의 localhost때문에 울고, context_length에 넘어졌지만 Hermes를 LM Studio에 연결하기까지 🚀

소개

Hermes Agent를 로컬 모델로 돌려보고 싶다.

원래는 Hermes Agent를 OpenRouter 기반 모델에 연결해서 사용하고 있었는데, 이 구조를 바꿔보고 싶었다.

내 시스템에 대한 구조를 간략하게 안내하자면

Hermes Agent(WSL) → LM Studio (Windows) → 로컬 LLM 모델

말로만 보면 간단해 보였다.

  • LM Studio에서 로컬 모델을 띄운다.

  • Hermes Agent의 모델을 LM Studio로 지정한다.

  • 실행한다.

  • 성공!…일 줄 알았다.

하지만 로컬모델 1일차^^,,


  • localhost의 문제

1. 처음 생각한 구조

처음에는 이렇게 생각했다.

Hermes Agent → http://localhost:1234/v1 → LM Studio 로컬 모델

LM Studio는 Windows에서 실행 중이고, 기본적으로 OpenAI 호환 API 서버를 1234 포트로 열 수 있다.

그래서 Hermes 설정의 base_url에 아래처럼 넣으면 될 줄 알았다.

base_url: http://localhost:1234/v1

하지만 안 됐다.

처음에는 모델 문제인가, Hermes 설정 문제인가, LM Studio 서버 문제인가 싶었다. 그런데 진짜 원인은 더 기본적인 곳에 있었다.

2. 문제의 원인: WSL의 localhost는 Windows의 localhost가 아니었다

이번 삽질의 핵심은 이 문장으로 정리된다.

WSL에서의 localhost는 Windows의 localhost와 다르게 동작할 수 있다.

내 환경은 이렇게 나뉘어 있었다.

Windows
└─ LM Studio 실행 중
   └─ Local Server: 1234 포트

WSL
└─ Hermes Agent 실행 중
   └─ Hermes 설정에서 LM Studio API 호출

즉, Hermes Agent는 WSL 안에서 실행 중이고, LM Studio는 Windows에서 실행 중이었다.

그런데 WSL 안에서 아래 주소를 호출하면,

http://localhost:1234/v1

이 localhost는 Windows가 아니라 WSL 자기 자신을 가리킬 수 있다.

그래서 Hermes 입장에서는 이런 상황이 된다.

Hermes Agent: “LM Studio야, 모델 목록 좀 줘!”
WSL localhost: “나한테 그런 서버 없는데?”
Hermes Agent: 실패

결국 Windows에서 실행 중인 LM Studio에 접근하려면, WSL에서 바라본 Windows host 주소를 사용해야 했다.

3. WSL에서 Windows host IP 확인하기

WSL에서 Windows host 주소는 보통 기본 게이트웨이 IP로 확인할 수 있다.

WSL 터미널에서 아래 명령어를 실행했다.

ip route show | grep -i default | awk '{ print $3 }'

예를 들어 결과가 이렇게 나왔다고 하면,

172.xx.xx.x

Hermes 설정의 base_url은 이렇게 바꿔야 한다.

base_url: http://172.xx.xx.x:1234/v1

정리하면 이런 구조다.

Hermes Agent in WSL
        ↓
http://게이트웨이IP:1234/v1
        ↓
LM Studio on Windows

cf) base_url과 endpoint 구분하기

이번에 헷갈렸던 부분 중 하나가 base_url과 endpoint였다.

내 기준으로 정리하면 이렇다.

base_url
= Hermes가 LM Studio에게 요청을 보내기 위한 기본 주소
= http://게이트웨이IP:1234/v1
endpoint
= base_url 뒤에 실제 기능 경로가 붙은 전체 주소
= http://게이트웨이IP:1234/v1/models
= http://게이트웨이IP:1234/v1/completions

즉, Hermes 설정에는 기본적으로 base_url을 넣고, 실제 요청은 내부적으로 /models, /chat/completions, /completions 같은 경로가 붙어서 나가는 식이다.

5. WSL에서 LM Studio 연결 확인하기

설정을 바꾸기 전에, 먼저 WSL에서 직접 연결이 되는지 확인했다.

curl http://게이트웨이IP:1234/v1/models

성공하면 LM Studio에 로드된 모델 목록이 보인다.

이 테스트가 중요한 이유는 간단하다.

Hermes 설정을 만지기 전에, 네트워크 연결 자체가 되는지 먼저 확인할 수 있기 때문이다.

curl 성공 → Hermes 설정 문제를 보면 됨
curl 실패 → LM Studio 서버, IP, 포트, 방화벽, 바인딩 상태를 먼저 봐야 함

6. Windows에서 LM Studio 서버 바인딩 상태 확인하기

Windows 쪽에서는 LM Studio가 어떤 주소에 바인딩되어 있는지 확인했다.

명령 프롬프트 또는 PowerShell에서 아래 명령어를 실행했다.

netstat -ano | findstr :1234

좋은 상태는 이런 식이다.

0.0.0.0:1234 LISTENING

이 경우 외부 인터페이스에서도 접근 가능한 상태다.

반대로 아래처럼 되어 있으면 문제가 될 수 있다.

127.0.0.1:1234 LISTENING

이 경우 Windows 자기 자신의 localhost에서만 듣고 있는 상태라, WSL에서 게이트웨이 IP로 접근했을 때 연결이 안 될 수 있다.

그래서 LM Studio에서는 서버를 켤 때 Serve on Local Network 또는 0.0.0.0 바인딩이 필요했다.

정리하면 체크리스트는 이렇다.

  • LM Studio Local Server가 켜져 있는가?

  • 포트가 1234가 맞는가?

  • WSL에서 Windows gateway IP로 접근하고 있는가?

  • LM Studio가 127.0.0.1이 아니라 0.0.0.0으로 listen 중인가?

  • 방화벽이 막고 있지는 않은가?


  • context_length 65536

  1. 또 다른 문제

네트워크 연결 문제를 넘기고 나니, 이번에는 모델 컨텍스트 문제가 나왔다.

에러 메시지는 대략 이런 내용이었다.

Model google/gemma-4-e4b has a context window of 4,096 tokens,
which is below the minimum 64,000 required by Hermes Agent.

Hermes Agent는 최소 64K context를 요구했다.

즉, 기존에 사용하려던 모델의 context window가 너무 작았다.

cf) context_length, context window 의 개념

context_length
= 모델이 한 번에 읽고 기억할 수 있는 최대 토큰 수
context window
= 모델이 한 번에 읽고 참고할 수 있는 전체 입력 공간

  1. context_length 설정하기

Hermes 설정에서는 아래처럼 지정했다.

nano ~/.hermes/config.yaml

저장은 다음 순서로 했다.

Ctrl + O → Enter → Ctrl + X

설정값은 이렇게 넣었다.

model:
  context_length: 65536

cf) 65536은 64K를 의미한다.

65536 = 64 × 1024

  1. LM Studio에서도 context_length를 설정해야한다.

하지만 Hermes 설정에만 숫자를 넣는다고 끝나는 것은 아니었다.

LM Studio에서도 실제 모델이 65536 context로 로드되어 있어야 했다. 즉, 설정 파일에는 64K라고 적혀 있는데 LM Studio에서 모델이 4K context로 떠 있으면 여전히 실패할 수 있다. 필요 시 context_length를 65536로 늘리고 reload해야한다.

  1. 모델 교체: Gemma 4 E4B → Qwen3-8B → Qwen3-4B-2507

Gemma 4 E4B
→ context 부족으로 실패

Qwen3-8B
→ 교체 시도

Qwen3-4B-2507
→ Hermes Agent와 연결 성공 🎉

최종적으로는 Qwen3-4B-2507로 Hermes Agent와 LM Studio 로컬 모델 연결에 성공했다.

이 순간이 진짜 로컬모델 1일차의 하이라이트였다.

OpenRouter 대신
Windows의 LM Studio에서 뜬 로컬 모델을
WSL의 Hermes Agent가 직접 호출하는 구조 성공!

결과와 배운 점

1. localhost는 생각보다 무섭다

이번에 가장 크게 배운 점은 localhost를 너무 당연하게 믿으면 안 된다는 것이다.

특히 Windows + WSL 조합에서는 실행 위치를 항상 의식해야 한다.

Windows에서 localhost
≠
WSL에서 localhost

Hermes Agent가 어디에서 실행되는지, LM Studio가 어디에서 실행되는지, API 요청이 어느 방향으로 나가는지를 먼저 그려보는 게 중요했다.

2. curl 테스트는 진짜 중요하다

Hermes 설정을 계속 바꾸기 전에 아래 한 줄을 먼저 실행했어야 했다.

curl http://게이트웨이IP:1234/v1/models

이 한 줄로 확인할 수 있는 게 많다.

  • IP가 맞는지

  • 포트가 열려 있는지

  • LM Studio 서버가 살아 있는지

  • WSL에서 Windows 쪽으로 접근 가능한지

  • Hermes 문제가 아니라 네트워크 문제인지

앞으로는 로컬 API 연결 문제를 만나면, 앱 설정부터 만지지 말고 curl부터 날려볼 것 같다.

3. LM Studio는 바인딩 상태를 확인해야 한다

LM Studio 서버가 켜져 있다고 해서 무조건 WSL에서 접근 가능한 것은 아니었다.

127.0.0.1:1234로만 listen 중이면 Windows 내부 localhost 전용일 수 있고, WSL에서 gateway IP로 접근할 때 막힐 수 있다.

그래서 아래 명령어로 확인하는 습관이 필요하다.

netstat -ano | findstr :1234

내가 기억할 기준은 이렇다.

좋은 상태
0.0.0.0:1234 LISTENING

주의할 상태
127.0.0.1:1234 LISTENING

단, 0.0.0.0으로 열면 로컬 네트워크에서 접근 가능해질 수 있으므로 보안 설정도 같이 신경 써야 한다.

4. Agent는 모델의 context 조건을 탄다

일반 채팅에서는 모델이 응답만 잘하면 된다고 생각하기 쉽다.

하지만 Agent는 다르다.

Hermes Agent처럼 작업 흐름, 도구 사용, 긴 지시문, 중간 상태를 다뤄야 하는 경우에는 context window가 중요해진다.

이번에는 Hermes Agent가 최소 64K context를 요구했고, 그 조건을 맞추기 위해 모델도 바꿔야 했다.

그래서 앞으로 로컬 모델을 고를 때는 단순히 파라미터 수만 볼 게 아니라 이런 것도 같이 봐야겠다고 느꼈다.

  • context window

  • tool use / agentic task 적합성

  • 내 PC에서 실제로 로드 가능한지

  • LM Studio에서 원하는 context length로 설정 가능한지

  • 속도와 메모리 사용량

5. 로컬모델은 생각보다 인프라 공부다

처음에는 그냥 “모델 하나 로컬로 띄우면 되겠지”라고 생각했다.

하지만 실제로 해보니 로컬모델은 모델만의 문제가 아니었다.

  • Windows와 WSL 네트워크

  • localhost와 gateway IP

  • 포트와 바인딩

  • OpenAI 호환 API 구조

  • base_url과 endpoint

  • context_length

  • 모델 교체

이 모든 것이 얽혀 있었다.

삽질은 했지만, 덕분에 로컬 LLM을 도구처럼 붙일 때 어떤 부분을 봐야 하는지 감이 생겼다.

다음에 해볼 것

이제 Hermes Agent와 LM Studio 로컬 모델 연결은 성공했으니, 다음에는 실제 작업에 써보면서 안정성을 확인해보고 싶다.

특히 아래를 더 테스트해볼 예정이다.

  • Qwen3-4B-2507의 응답 품질

  • 긴 context 작업에서 실제로 얼마나 버티는지

  • Hermes Agent의 tool use가 안정적으로 되는지

  • OpenRouter 모델과 로컬 모델의 속도와 비용 차이

  • 더 큰 모델을 올렸을 때 내 PC가 어디까지 버티는지

아무튼 결론은 이거다.

로컬모델 1일차, 아무튼 Hermes와 LM Studio 연결 성공! 🎉

한국어 문자 메시지 스크린샷

도움 받은 글

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

39분이나 걸렸네에서 동질감을 ㅎㅎㅎㅎ

MC맥돌 프로필 이미지
MC맥돌2026.05.27

우와!! 답변 받으셨다니!! 축하드려요!!
로컬 모델 특성상 처음에 답변 받는데 특히 오래걸리고 그이후는 처음보다는 빨라요 ㅎㅎ

윈도우 사용하시는분들이 꼭 겪는 일이라 너무 좋고 도움이 되는 사례글인것 같아요!

답변이 영어로 오는데 일부로 그렇게 설정하신건가요? ㅎㅎ

발전 하는 모습이 기대됩니다!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기