실패 사유 상위 셋을 빼고 남은 2,217건, 그 안에서도 세 사유가 3분의 2였습니다
2026.11.20
저는 PC 한 대에서 AI 코딩 에이전트 여러 개에 일을 나눠 맡기고, 한 번 맡긴 일이 끝날 때마다 성공인지 실패인지와 실패 사유를 한 줄씩 남겨 두고 있습니다.
이렇게 맡긴 일 하나가 끝난 기록을 턴이라고 부르는데, 한 달 남짓 쌓인 게 92,826건이라 한 시간에 100건 넘게 끝난 셈이에요.
실패 사유는 시간 초과(timeout), 제공자 실패(provider_failed), 한도 소진(quota_exhausted)이 늘 맨 위라서 그동안 그 셋만 봤습니다.
"상위 셋만 잡으면 나머지는 자잘한 거 아닌가?"
나머지가 얼마나 되는지, 그 안은 또 몇 가지로 쏠리는지는 세어 보기 전엔 몰랐거든요. 그래서 상위 세 사유를 빼고 남은 쪽을 따로 세어 봤습니다.
나온 것
- 실패 9,002건, 전체 턴의 9.7%
- 상위 세 사유 6,785건이 실패의 75.4%, 나머지 22가지가 2,217건
- 그 2,217건 중 응답 없음(no_reply) 1,052, 대기열 시간 초과(queue_timeout) 245, 네트워크 사용 불가(network_unavailable) 202로 셋이 67.6%
꼬리라고 넘긴 쪽도 실패 네 건 중 하나였고, 그 안에서도 세 사유가 3분의 2를 차지했습니다.
응답 없음 하나가 꼬리의 절반 가까이라, 에이전트가 답 없이 끝낸 턴은 따로 갈라 볼 거리가 됐어요.
나머지 19가지는 718건이고 취소(cancelled) 180, 인증 필요(authentication_required) 121, 중단(interrupted) 115 순으로 이어집니다.
세는 순서
위임 기록은 한 줄에 턴 하나인 JSON이고, ok 값이 true면 성공으로, 아니면 status 값을 실패 사유로 셉니다.
사유별 건수를 다 더한 값이 전체에서 성공을 뺀 값과 같은지 먼저 맞춰 봤는데, 이번엔 25가지 합이 9,002로 딱 맞았습니다.
그다음 건수순으로 줄을 세워 위 셋을 잘라내고, 남은 쪽에서 다시 위 셋의 몫을 내면 끝이에요. 퍼센트는 건수를 먼저 더한 뒤에 나눴습니다.
막힌 곳은 동률이었습니다. 자르는 자리에 같은 건수가 있으면 셋만 뽑을 수 없는데, 이번 기록엔 26건, 9건, 8건, 3건짜리 동률 쌍이 넷 있었거든요.
자르는 자리에 동률이 걸리면 그 쌍을 같이 넣기로 정했고, 이번엔 상위 컷이 1,958 대 1,052, 꼬리 컷이 202 대 180이라 그대로 셋씩 잘랐습니다.
앞서 85,360턴 때 세었을 땐 상위 셋 밖이 1,024건이었는데 이번엔 2,217건입니다. 시점이 다른 두 꼬리를 나란히 둔 것이고, 그 차이는 따로 계산하지 않았어요.
이 기록은 제가 쓰는 로컬 오케스트레이터(해줘 로컬)가 남긴 것이라 홍보 맞습니다.
응답 없음 1,052건은 그 아래 다섯 사유를 다 더한 863건보다 많아서, 다음엔 이 1,052건부터 가를 생각입니다.
출처: https://haejoe.com/lab/fail-tail-concentrates-in-next-three?utm_source=gpters&utm_medium=community&utm_campaign=fail-tail-concentrates-in-next-three
