본문으로 건너뛰기

코딩 에이전트 실패 로그 4,061건, 누적 1위 사유가 읽을 때마다 바뀌어서 도구별로 쪼개 센 방법

haejoe

2026.10.23

같은 위임 로그를 10월 들어 세 번 읽었는데 실패 1위 사유가 매번 달랐습니다. 9일에는 한도 소진, 11일에는 시간 초과, 21일에 다시 한도 소진이었어요.

로그는 제가 PC 한 대에서 코딩 에이전트에 일을 맡기고 남긴 기록입니다. 위임 한 번을 턴이라 부르고, 끝난 턴마다 시작 시각과 끝난 시각, 성공 여부, 실패 사유, 도구 이름이 JSON 한 줄로 쌓입니다.

이번에 한 일

10월 8일부터 21일까지 쌓인 37,743턴 가운데 실패 4,061건을 Antigravity, Claude Code, Codex, Devin 네 도구로 갈랐습니다. 누적으로만 보면 한도 소진이 41%, 도구 쪽이 응답을 못 준 실패(provider_failed)가 38%였는데, 이 둘이 어느 도구에 쌓였는지가 궁금했거든요.

순서는 이랬습니다. Node.js 스크립트로 기간 안에 끝난 턴만 거르고, 실패 사유별로 센 다음 같은 집계를 도구별로 한 번 더 돌렸습니다. 마지막에 한도 소진 턴을 분모에서 뺀 성공률을 옆에 붙였고, 성공 턴은 끝난 시각에서 시작 시각을 빼 걸린 시간을 냈습니다.

나온 숫자

- 한도 소진 1,670건의 93%가 Antigravity 한 도구에 쌓였고, Claude Code는 0건

- 한도 소진을 분모에서 빼면 전체 성공률이 89%에서 93%로 오르고, 네 도구 성공률의 폭은 17%p에서 7%p로 줄어듦

- 시간 초과 437건의 66%는 Claude Code 몫

도구별로 보니 Antigravity와 Codex는 한도 소진이, Claude Code와 Devin은 provider_failed가 실패의 절반을 넘었습니다. Antigravity 턴을 빼고 나머지 셋만 세면 한도 소진은 3위로 내려가요. 누적 1위 사유는 한 도구의 구독 한도 이야기였습니다.

막힌 점

한도 소진이 많은 도구는 성공률이 낮게 찍히는데, 그 낮은 숫자에 제 구독 한도가 얼마나 섞여 있는지 누적 성공률로는 보이지 않았습니다. 전체 집계가 쓰는 "한도 소진을 분모에서 뺀 성공률" 정의를 도구별에도 똑같이 적용했더니 Antigravity는 84%에서 92%, Codex는 78%에서 91%가 됐습니다.

시간 초과는 따로 보면 자리가 안 보였습니다. 성공 턴의 걸린 시간 p90(느린 쪽 10% 경계)이 도구별로 276초에서 751초까지 벌어져 있어서, 어느 도구의 긴 작업에서 나는지는 걸린 시간 분포와 같이 세어야 잡힙니다.

따라 하기

로그가 JSON 한 줄씩이면 필드 다섯 개면 됩니다. 시작 시각, 끝난 시각, 성공 여부, 실패 사유, 도구 이름이에요.

기간 안에 끝난 줄만 거르고, 실패한 줄을 사유별로 센 뒤 도구별로 한 번 더 나눕니다. 성공률은 성공 수를 턴 수로 나누고, 한도 소진을 뺀 성공률은 턴 수에서 한도 소진 수를 뺀 값으로 나눕니다.

걸린 시간은 끝난 시각에서 시작 시각을 빼면 되는데, 분위수를 정렬한 배열의 위치로 뽑으면 집계 도구가 준 값과 몇 초 다르게 나옵니다.

이 기록은 제가 만들고 있는 도구(해줘 로컬)가 남긴 것이라, 홍보 맞습니다.

이번 값은 열사흘치 누적을 한 번 읽은 거라 한도 소진 1,670건이 언제 쌓였는지는 들어 있지 않습니다. 다음에는 끝난 시각으로 한 시간씩 잘라 몇 번의 몰림에서 온 건지 셉니다.

출처: https://haejoe.com/lab/agent-fail-cause-flips-hourly?utm_source=gpters&utm_medium=community&utm_campaign=agent-fail-cause-flips-hourly

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.23

같은 로그를 세 번 읽었는데 1위 사유가 매번 달랐다는 도입이 바로 궁금증을 끌어요. 한도 소진 1,670건의 93%가 Antigravity 한 도구에 몰려 있고, 그걸 분모에서 빼면 도구 간 성공률 폭이 17%p에서 7%p로 줄어든다는 대목이 특히 설득력 있었습니다. 누적 숫자가 한 도구의 구독 한도 이야기였다는 해석이 깔끔해요.

분위수를 정렬 배열 위치로 뽑으면 집계 도구와 몇 초 다르게 나온다는 디테일도 실제로 돌려본 분만 쓸 수 있는 내용이네요. 다음에 한 시간 단위로 잘라 몰림을 세어보신다는 후속도 기대됩니다. 꼬리 탁, 응원하고 갑니다 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기