아무튼 로컬모델 2주차2(봇 루핑과 모델 로드/언로드)
2026.06.03
문제
[루프 차단: 응답 종료]수신 확인. 나는 답변 여기서 종료할게 — 더 이상 이어받지 않음.확인. 루프 차단.루프성 반복 메시지라 나는 응답 종료.
봇투봇 과정에서 로컬봇이 밤새 루핑을 돌았습니다.
봇투봇 루핑의 초기 문제는 잡았습니다. - 루핑 설정 플러그인 문제 -
다만 루핑 중에 LM Studio 쪽에서 모델 로드/언로드/재시도 문제도 확인했습니다.
단순히 루핑이 -> 모델을 언로드 한 것일까요?
사용한 모델과 환경
모델1 : qwen/qwen3-4b-2507 -> 4b봇
모델2 : qwen/qwen3-8b -> 8b봇
실행 환경: LM Studio
목표: 로컬에서 가볍게 대화형 봇 운영
문제 상황: 잦은 모델 언로드/리로드 발생
관찰
상황을 단순화하면 이런 흐름이었다.
모델 언로드/리로드
→ 응답 지연
→ 늦게 도착한 응답이 다시 봇투봇 루프를 우회
→ 루핑 재발반대로 이런 흐름도 있었다.
봇투봇 루핑
→ 8B 요청 반복 생성
→ 처리 중인 요청 위에 새 요청이 겹침
→ 컨텍스트가 커짐
→ LM Studio에서 model crashed 발생
→ 4B 요청까지 겹침
→ 4B/8B 모델이 번갈아 로드/언로드됨즉, 한쪽 방향의 문제가 아니었다.
처음에는 루프가 문제라고 봤지만, 실제로는 루프와 모델 로딩 정책이 서로 물려 있었습니다.
해석
루핑이 모델 언로드/리로드의 원인이기도 했고,
모델 언로드/리로드가 루핑의 원인이기도 했습니다.
판단
여러 모델을 LM Studio 서버(하나의 서버)에 붙이면, 둘이 번갈아 로드되면서 충돌이 발생한 케이스입니다. 서버나 포트 분리하고자 했지만 우선은 LM Studio 서버 하나에서 여러 모델을 LOADED 상태로 같이 잘 들고 가는 미봉책을 강구하고자 했습니다.
--
cf)
LM Studio 문서에 따르면 JIT loading은 요청 시점에 모델을 동적으로 로드해서 메모리를 아끼는 기능이다. 또한 JIT-loaded 모델은 기본적으로 일정 시간 사용되지 않으면 자동으로 언로드될 수 있다.
특히 Auto-Evict가 켜져 있으면, 새 JIT-loaded 모델을 로드할 때 기존 JIT-loaded 모델을 먼저 내릴 수 있다. 문서상 Auto-Evict가 켜진 기본 상태에서는 JIT로 로드된 모델을 한 번에 최대 1개만 유지하는 동작이 설명되어 있다.
JIT loading:
요청이 들어왔을 때 필요한 모델을 그때그때 메모리에 올리는 방식
Auto-Evict:
새 모델을 올리기 위해 기존 JIT-loaded 모델을 자동으로 내리는 동작
JIT/Auto-Evict 설정이 맞물리면 모델을 계속 갈아끼우는 상황이 되었다.
--
우선 문제의 원인을 해결해야 합니다. 초점은 맞춘 부분은 요청이 들어올 때마다 4B와 8B를 새로 갈아 끼우게 만들지 않는 것입니다.
현실적인 해법은 4B와 8B를 미리 같이 올려두고, 각 Hermes profile이 자기 model.default로 정확히 자기 모델을 부르게 하는 것입니다.
LM Studio에서는 포트를 하나 더 여는 방식을 찾지 못해서 일단 지금은 동시 로드 + 같은 endpoint 공유는 유지했습니다.
완화책
우선 해결이 다 된것은 아니고..조건부 완화책 입니다.
현재 시점에서 유지해야 할 조건이었습니다.
4B와 8B가 둘 다 미리
LOADED상태여야 합니다.LM Studio에서 모델이 내려가면(TTL/autounload 등의 원인), 다음 요청 때 로드가 발생합니다.
TTL은 Time To Live의 약자로, 모델이 마지막으로 사용된 뒤 얼마 동안 메모리에 남아 있을지를 정하는 시간이다. 예를 들어 TTL 1시간이면 1시간 동안 요청이 없을 때 모델이 자동으로 내려갈 수 있다.autounload는 서버가 메모리/VRAM을 아끼기 위해 idle 상태의 모델을 자동으로 unload하는 동작이다.모델이 unload되면 다음 요청 때 다시 load해야 하므로, 이 타이밍에 다른 봇 요청이나 retry가 겹치면 load/unload/cancel 충돌이 다시 생길 수 있다.
언로드 방지책으로 강구한 것은 다음과 같습니다.
TTL을 길게 하거나 keepalive/상태점검으로 loaded 상태를 유지한다.
와치독 운영
4B/8B가 내려가 있으면 자동으로 리로드
이미 올라와 있지만 ctx/parallel/TTL이 다른 경우에는 강제 리로드 금지(알림만 발생)
좀 더 문제를 살펴 보아야 할 것 같습니다..
로그인하고 댓글을 남겨 주세요
맞습니다 2개이상이 로드되는 경우 저도 그거때매 고생했는데
Yaml 에서 일정 컨텍스트 양차면 new 때리게 해서 일단 고쳐놓긴햇습니자




이제 심화로 들어가시는군요 저도...여기서 구조를 짜는 중인데 아직 어떻게 해야할지 감이 안옵니다 ㅎㅎㅎ 사례가 기대되네요!