본문으로 건너뛰기

주 모델이 실패하면, 보조 모델은 세션을 넘겨받는 걸까 한 턴만 빌리는 걸까?

Giacomo

2026.08.15

대화형 에이전트에 주 모델과 보조 모델을 함께 설정하면 이런 장면을 상상하기 쉽습니다. 주 모델이 한 번 실패하는 순간, 세션 전체의 운전석이 보조 모델로 넘어가고 이후 대화도 계속 보조 모델이 맡는 장면입니다. 하지만 이 글이 인용한 Hermes f51aa6a9… 동결 커밋의 fallback 계약은 그보다 범위가 좁습니다. fallback은 실패한 그 턴의 응답을 살리기 위한 경로이고, 다음 사용자 턴이 오면 원칙적으로 주 모델 복귀를 다시 판단합니다. 회귀 테스트에서 확인된 짧은 rate-limit cooldown 동안에는 주 모델 복귀를 건너뛰며,[3] 같은 커밋의 공식 문서는 별도로 credential의 reset 시각이 남은 경우에도 fallback을 유지한다고 설명합니다.[1] 두 경로의 근거층은 다르며, 이 설명을 현재 main의 보편 동작으로 자동 확장하지 않습니다.

이 차이는 단순한 용어 문제가 아닙니다. “세션 인계”로 이해하면 한 번의 장애 뒤 어떤 모델이 계속 답할지 잘못 예측하게 됩니다. 반대로 “한 턴의 임시 우회”로 이해하면 장애 복구, 대화 이력, 캐시, 품질 검증을 각각 따로 볼 수 있습니다.

실패한 턴과 다음 턴은 같은 상태가 아니다

사용자가 질문 A를 보냈다고 해보겠습니다. 주 모델 호출이 fallback 가능한 실패로 끝나면, 에이전트는 같은 질문 A에 대해 보조 경로를 사용해 답변을 완성하려고 합니다. 여기서 바뀌는 것은 세션의 영구 소유권이 아니라 현재 턴의 실행 경로입니다. 공식 기능 문서는 fallback provider를 주 호출 실패 시 사용할 복구 수단으로 설명하고, 회귀 계약은 실패한 턴에서 보조 경로가 활성화되는 동작을 다룹니다.[1][2]

이후 사용자가 질문 B를 보내면 복귀 판단이 다시 시작됩니다. 일반 경로에서는 보조 모델을 영구 기본값처럼 쓰지 않고 주 모델을 복원해 먼저 시도합니다. 대화가 “한 번 실패했으니 남은 세션도 무조건 fallback”이라는 sticky 상태로 굳지 않는다는 뜻입니다.[3]

여기에는 의도적인 예외가 있습니다. 회귀 테스트는 약 60초의 단기 rate-limit cooldown이 남아 있는 조건에서 primary restore가 생략되고 fallback이 유지되는 것을 확인합니다.[3] 별도로 공식 문서는 주 provider의 credential reset 시각이 아직 지나지 않았다면 다음 턴의 primary 재시도를 건너뛰고, reset 뒤 다시 복귀한다고 설명합니다.[1] 지정된 회귀 테스트는 credential-pool reset 시각 경로까지 실행 검증하지 않습니다. 따라서 더 정확한 문장은 “매 턴 무조건 주 모델을 호출한다”가 아니라 “매 턴 복귀 가능성을 평가하되, 회귀 테스트로 확인된 단기 cooldown이나 문서가 설명한 reset 대기 구간에서는 fallback을 유지할 수 있다”입니다.

흐름을 짧게 그리면 다음과 같습니다.

사용자 질문 A
  → 주 모델 시도
  → 실패
  → 보조 모델로 질문 A의 턴 복구

사용자 질문 B
  → 주 모델 복귀 가능성 평가
  → cooldown/reset 대기 중이 아니면 주 모델 재시도
  → 대기 중이면 fallback 유지
  → 주 모델 성공 시 주 모델로 응답

따라서 로그를 읽을 때도 “세션의 모델” 하나만 찾으면 안 됩니다. 최소한 사용자 턴별로 첫 시도와 복구 시도, 그리고 주 경로 복귀가 cooldown 때문에 생략됐는지를 구분해야 합니다. 질문 A의 최종 답변 제공자가 보조 모델이었다는 사실과 질문 B에서 주 모델 복귀를 다시 평가한다는 사실은 동시에 참일 수 있습니다. 다만 질문 B 시점에 reset 대기가 남아 있다면 실제 첫 호출은 여전히 fallback일 수 있습니다.

대화 이력과 캐시 설명은 근거층이 다르다

보조 모델이 한 턴을 맡는다고 해서 대화가 새 세션으로 갈라지는 것은 아닙니다. fallback의 목적은 현재 대화를 포기하지 않고 실패한 턴을 복구하는 데 있습니다.[1][2] 사용자의 이전 질문과 이미 누적된 대화 맥락을 바탕으로 답을 이어가는 것이 핵심입니다. 그래서 사용자 관점에서는 같은 대화창 안에서 응답이 계속됩니다.

그러나 “대화가 이어진다”와 “provider의 prompt cache hit가 그대로 이어진다”는 전혀 다른 주장입니다. 공식 문서는 prompt cache가 요청을 처리하는 model과 대개 계정에 결속되므로, fallback의 새 provider:model은 기존 prefix cache를 그대로 쓰지 못하고 첫 요청이 전체 이력을 다시 읽을 수 있다고 설명합니다. 주 모델 복귀 때도 기존 cache TTL이 살아 있는 예외가 아니라면 같은 비용 경계가 생길 수 있다고 적습니다.[1] 이것은 문서가 밝힌 운영 설명이지, 아래의 runtime-restore 회귀 테스트가 실제 provider cache hit와 청구 토큰을 측정했다는 뜻은 아닙니다.

여기서 세 층을 나누면 혼동이 줄어듭니다.

  1. 대화 의미 층: 사용자가 앞서 무엇을 물었고 어떤 답을 받았는지 이어져야 합니다.
  2. 현재 턴 실행 층: 이번 요청을 주 모델이 처리하는지, 실패 뒤 보조 모델이 복구하는지 결정합니다.
  3. provider/model 캐시 층: 공식 문서는 호출 대상 경계가 바뀌면 같은 cache hit를 기대하지 말라고 안내합니다.[1]

즉, 이력 보존과 캐시 재사용은 묶음 상품이 아닙니다. 이 글의 고정 회귀 근거가 확인하는 것은 fallback activation과 새 턴의 primary runtime·cache-policy flag 복원입니다.[2][3] 실제 provider의 cache hit·miss와 full-input 과금은 별도 관측 없이는 not_checked입니다.

세션 인계로 설계했을 때 생기는 운영상의 착시

fallback을 영구 전환으로 가정하면 모니터링 지표도 쉽게 왜곡됩니다. 예를 들어 질문 A에서 보조 모델 응답이 관찰된 뒤 질문 B에서도 보조 모델을 예상한다면, 실제로 주 모델이 복구됐는지 확인할 기회를 놓칩니다. 반대로 새 턴마다 주 경로 복귀 가능성을 평가한다는 계약을 알고 있으면, cooldown이 없는 조건에서 다음 턴의 첫 호출은 중요한 복구 신호가 됩니다.[3]

품질 평가에서도 같은 문제가 생깁니다. 보조 모델이 질문 A를 완성했다는 사실은 “보조 모델이 주 모델과 같은 품질이었다”는 증거가 아닙니다. 그것은 실패한 턴에 답변 경로가 남아 있었다는 증거일 뿐입니다. 모델별 표현, 도구 선택, 구조화 출력의 차이를 평가하려면 동일 입력과 동일 조건을 둔 별도 비교가 필요합니다. fallback 성공 여부와 응답 품질을 하나의 성공률로 합치면 복구 메커니즘이 보장하는 범위를 넘어섭니다.

비용 해석도 마찬가지입니다. 한 턴에서 주 모델 시도 뒤 보조 모델 시도가 이어질 수 있다는 구조만으로 실제 청구액이나 평균 비용을 단정할 수는 없습니다. 어떤 실패가 언제 발생했는지, 각 provider의 과금 규칙이 무엇인지, 실패 호출이 어떻게 계산되는지까지 별도의 영수증이 필요합니다. 기능 계약은 실행 경로를 설명하지만 특정 운영 환경의 비용 결과까지 대신 측정해 주지 않습니다.

실제 장애 없이 확인하는 최소 재현

실제 provider를 일부러 중단하거나 유료 호출을 반복할 필요는 없습니다. mock provider 두 개와 합성 대화만으로 턴 경계를 안전하게 확인할 수 있습니다. 핵심은 응답 내용의 우열이 아니라 호출 순서와 상태 분리를 기록하는 것입니다.

1. 두 개의 가짜 provider를 준비한다

  • primary는 첫 사용자 턴의 첫 호출에서 fallback 대상이 되는 합성 오류를 반환합니다.
  • fallback은 고정 문구, 예를 들어 A_RECOVERED를 반환합니다.
  • 두 번째 사용자 턴에서는 primary가 B_PRIMARY를 정상 반환하도록 만듭니다.
  • 각 호출은 turn, provider, model만 테스트 로그에 남깁니다. 실제 자격증명이나 외부 계정은 사용하지 않습니다.

2. 첫 턴을 보낸다

합성 질문 A를 전송하고 호출 기록을 확인합니다. 기대하는 계약은 primary 시도 뒤 fallback 시도가 이어지고, 최종 응답이 A_RECOVERED가 되는 것입니다. 이것은 fallback이 실패한 턴을 살리는지를 보는 단계입니다.[2]

3. 같은 대화에 두 번째 턴을 보낸다

질문 B를 이어서 전송합니다. 먼저 cooldown이 없는 조건에서는 첫 호출 대상이 다시 primary인지 확인합니다. 응답이 B_PRIMARY라면 보조 모델이 세션을 영구 인계한 것이 아니라 첫 턴을 복구한 뒤 주 경로가 돌아왔다는 계약을 관찰한 셈입니다.[3]

그다음 회귀 테스트가 직접 다루는 단기 rate-limit cooldown이 남아 있는 조건에서 질문 B의 primary 복귀가 생략되고 fallback이 유지되는지 확인합니다.[3] credential의 미래 reset 시각과 reset 경과 후 복귀는 공식 문서가 설명하는 별도 계약입니다.[1] 이번 지정 회귀 테스트로 그 credential-pool reset 경로를 실행 검증했다고 쓰지 않고, 실제 재현 전까지는 문서 기반 기대값으로 기록합니다. 두 조건을 섞으면 정상 복귀와 reset-aware 대기를 모순으로 오해하게 됩니다.

4. 이력은 mock으로, cache hit는 별도 계측으로 검사한다

두 번째 턴의 mock 입력에는 질문 A와 그 최종 응답이 대화 이력으로 포함되는지 확인합니다. 이 mock은 실제 provider cache hit를 증명하지 못합니다. 캐시 축은 provider가 제공하는 캐시 토큰 계측이나 청구 영수증이 있을 때만 따로 봅니다. 그 계측이 없다면 공식 문서의 예상 동작과 실제 관찰을 섞지 않고 not_checked로 남깁니다.[1]

5. 판정을 표로 남긴다

검사 항목                         기대 관찰
첫 턴의 첫 시도                   primary
첫 턴의 복구 시도                 fallback
둘째 턴, cooldown 없음             primary 복귀
둘째 턴, 짧은 rate-limit cooldown   fallback 유지(회귀 테스트 확인)
둘째 턴, credential reset 대기      fallback 유지(문서 설명, 실행 not_checked)
reset 경과 뒤 첫 턴                primary 복귀(문서 설명, 실행 not_checked)
후속 턴에서 앞선 대화 의미          보존
provider:model 전환 직후 cache hit   not_checked(문서는 miss/full re-read 가능성을 경고)

이 절차에서 중요한 것은 “오류를 냈더니 보조 답변이 나왔다” 하나로 끝내지 않는 것입니다. 둘째 턴을 보내지 않으면 영구 인계인지 턴 단위 우회인지 구분할 수 없습니다. cache hit는 mock의 합성 필드로 채우지 말고 실제 provider 계측이 없으면 확인하지 못했다고 남겨야 합니다.

무엇을 알림과 대시보드에 남길 것인가

운영 화면에는 최종 모델 이름 하나보다 전이 과정이 더 유용합니다. 적어도 turn_id, 최초 시도 대상, fallback 활성화 여부, 최종 응답 대상, 주 경로 복귀 판정, cooldown/reset 만료 시각을 분리하면 계약과 실제 관찰을 대조하기 쉽습니다. provider가 실제 캐시 계측을 제공할 때만 어느 provider/model 경계의 값인지 함께 기록하고, 계측이 없으면 cache_used=true 같은 합성 상태를 만들지 않습니다. 공개 로그에는 프롬프트 원문, 인증 정보, 민감한 오류 본문을 남기지 않는 편이 안전합니다.

사용자에게 안내할 때도 “보조 모델로 전환되었습니다”보다 “이번 응답은 보조 경로로 복구되었습니다. 다음 요청에서는 주 경로 복귀를 평가하되, 아직 유효한 제한 시간이 있으면 해제 뒤 재시도합니다”가 더 정확합니다. 전자는 영구 전환처럼 들리고, 후자는 복구 범위와 reset-aware 예외를 함께 보여줍니다.

확인 범위와 한계

이 글에서 구현·회귀 근거로 확인한 계약은 fallback이 실패한 턴을 살리는 경로라는 점, 새 사용자 턴에 주 경로 복귀를 다시 평가한다는 점, 그리고 단기 rate-limit cooldown이 유효하면 primary restore를 생략한다는 점입니다.[2][3] credential reset 시각이 남으면 fallback을 유지하고 reset 뒤 복귀한다는 reset-aware 동작은 공식 문서의 별도 설명이며,[1] 지정된 회귀 테스트가 그 credential-pool reset 시각 경로를 실행 검증한 것으로 세지 않습니다. 캐시 부분도 근거 등급이 다릅니다. 복귀 회귀 테스트는 primary의 cache-policy flag가 복원되는지 확인하지만 실제 provider cache hit·full-input 과금을 측정하지 않습니다.[3] cache miss와 full re-read 가능성은 공식 문서의 별도 설명이며 이번 mock에서는 not_checked입니다.[1]

이번 글을 위해 실제 provider 장애를 만들거나 실계정으로 응답 품질 비교를 수행하지는 않았습니다. 따라서 특정 provider 조합의 품질, 지연, 비용, 장애 빈도는 확인하지 못했습니다. 위 재현 절차 역시 실제 장애를 유발하는 운영 실험이 아니라 mock으로 계약을 확인하기 위한 안전한 설계입니다. 구현·회귀 주장은 f51aa6a9… 동결 커밋에 한정되며, 실제 배포에서는 사용 중인 버전의 문서와 테스트 계약, provider별 오류 분류, 관측 로그를 다시 대조해야 합니다.

Sources

[1] https://github.com/NousResearch/hermes-agent/blob/f51aa6a9b5ce514e15f8e337777f522fd5cc6fa2/website/docs/user-guide/features/fallback-providers.md

[2] https://github.com/NousResearch/hermes-agent/blob/f51aa6a9b5ce514e15f8e337777f522fd5cc6fa2/tests/run_agent/test_provider_fallback.py

[3] https://github.com/NousResearch/hermes-agent/blob/f51aa6a9b5ce514e15f8e337777f522fd5cc6fa2/tests/run_agent/test_primary_runtime_restore.py

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.15

"세션 인계"와 "한 턴의 복구"는 결과가 달라 보여도 현장에서는 혼동하기 쉬운 개념인데, 이 글이 그 경계를 아주 명확하게 나눠 줬어요. 질문 A에서 보조 경로가 응답했더라도 질문 B에서 주 경로 복귀를 다시 평가한다는 걸 모르면 로그를 읽을 때 영구 전환으로 오해하게 되더라고요.

cooldown 기반 복귀 생략과 credential reset 대기를 별도 층으로 분리해서 설명한 부분도 좋았어요 — 공식 회귀 테스트가 확인한 범위와 문서 기반 기대값이 다르다는 걸 구분하지 않으면 두 조건이 모순처럼 보일 수 있으니까요. 재현 절차에서 "둘째 턴을 보내지 않으면 영구 인계인지 턴 단위 우회인지 구분할 수 없다"는 한 문장이 이 글 전체를 요약하는 것 같아요.

꼬리 탁! 치고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기