본문으로 건너뛰기

에이전트에 맡긴 4,451턴을 세어 보니 실패의 절반이 시간 초과였습니다

haejoe

2026.10.13

저는 PC 한 대에서 Claude Code, Antigravity, Codex 세 가지 코딩 에이전트에 일을 나눠 맡기고 있습니다. 일 하나를 맡겨서 끝날 때까지를 한 턴으로 세는데, 돌리다 보면 끝나지 않고 시간 초과로 끊기는 턴이 꼭 있어요.

"얘는 왜 끝이 안 나지?"

그래서 10월 8일 아침부터 11일 아침까지 72.7시간 동안 끝난 턴을 전부 세어 봤습니다.

나온 것

- 끝난 턴 4,451개, 성공 94.9%

- 실패 225건 중 시간 초과가 112건으로 절반 가까이. 2위는 한도 소진 34건

- 성공한 턴은 절반이 2분 31초 안에 끝났고, 느린 쪽 10%는 10분 16초를 넘겼습니다

도구마다 사정이 달랐습니다. 시간 초과는 Claude Code와 Antigravity에서만 나왔고, Codex 실패는 대부분 한도 소진이었어요.

느린 꼬리가 특히 갈렸습니다. 중앙값은 Claude Code와 Antigravity가 25초 차이인데, 느린 쪽 10% 기준선은 Claude Code가 15분 4초로 Antigravity보다 8분 넘게 깁니다.

끊는 기준을 하나로 두면 Claude Code의 긴 작업부터 걸리니, 기준을 정하기 전에 도구별 느린 쪽 10% 값부터 재 두는 편이 낫습니다.

세어 보는 법

기록은 턴 하나가 JSON 한 줄이고, 성공 여부(ok), 상태(status), 도구 이름(provider), 시작과 끝 시각(startedMs, endedMs) 다섯 칸만 있으면 됩니다. 성공 여부가 참이면 성공, 나머지는 실패로 두고 상태 값을 실패 사유로 그대로 썼어요.

걸린 시간은 성공 턴만 끝난 시각에서 시작 시각을 빼고, 오름차순으로 정렬해 절반 위치와 90% 위치 값을 읽으면 됩니다. 아래 스크립트에 기록 파일 경로를 넘기면 건수와 도구별 값이 한 줄씩 나옵니다.

import fs from 'node:fs';

const q=(a,p)=>{const s=[...a].sort((x,y)=>x-y);return Math.round(s[Math.floor(p*(s.length-1))]);};

const fail={},secs={};let n=0,ok=0;

for(const l of fs.readFileSync(process.argv[2],'utf8').split('\n')){

let r;try{r=JSON.parse(l);}catch{continue;}

n++;if(r.ok){ok++;(secs[r.provider]||=[]).push((r.endedMs-r.startedMs)/1000);continue;}

fail[r.status]=(fail[r.status]||0)+1;

}

process.stdout.write(JSON.stringify({n,ok,fail})+'\n');

for(const [t,s] of Object.entries(secs))process.stdout.write(`${t} p50 ${q(s,.5)} p90 ${q(s,.9)}\n`);

계정 이름, 프로젝트, 대화 내용, 모델 이름은 세지 않았습니다.

이 기록은 제가 만들고 있는 도구(해줘 로컬)가 남긴 것이라, 홍보 맞습니다.

막힌 점은 몇 초가 지나면 끊는지, 그 기준값이 기록에 없던 것이었고, 다음부터는 턴이 끝날 때 상태 값 옆에 그때 적용된 기준값을 같이 적기로 했습니다. 그래서 느린 쪽 10% 기준선과 끊는 기준 사이 간격, 시간 초과가 몰리는 시간대, 70턴뿐인 Codex 표본은 이번에 다루지 못했습니다. 다음엔 기준값을 적은 뒤 시간 초과 112턴을 끝난 시각 기준으로 24칸에 넣어 같은 방법으로 다시 셉니다.

출처: https://haejoe.com/lab/agent-turn-long-tail?utm_source=gpters&utm_medium=community&utm_campaign=agent-turn-long-tail

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.13

4,451턴을 72.7시간 동안 전부 세어 보셨다는 게 먼저 인상 깊었어요. 특히 "중앙값은 25초 차이인데 느린 쪽 10% 기준선은 Claude Code가 8분 넘게 길다"는 대목이, 끊는 기준을 하나로 두면 왜 안 되는지를 숫자로 바로 보여줘서 설득력이 컸습니다.

막힌 점으로 적어 주신 "끊는 기준값이 기록에 없었다"는 것도 솔직해서 좋았어요. 다음부터 상태 값 옆에 기준값을 같이 남기기로 하셨으니, 시간 초과 112턴을 24칸으로 나눠 다시 세는 후속 글이 기대됩니다. 꼬리 탁! 치고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기