본문으로 건너뛰기

제 클로드 코드 대화를 공식 가이드로 채점해 봤더니 "완료 기준"을 거의 말하지 않고 있었습니다

정한샘

2026.11.21

소개

같은 일을 시켜도 한 번에 끝나는 날과 몇 번씩 다시 설명하는 날이 갈려서 제가 뭘 빠뜨리는지 보려고 agent-coach(github.com/1017toa/agent-coach, MIT)를 만들었습니다. PC에 이미 쌓여 있는 클로드 코드·코덱스 대화 기록을 Anthropic·OpenAI 공식 가이드 기준으로 채점하는 CLI입니다.

진행 방법

대화 내용은 어디로도 수집되지 않습니다. 따로 서버가 없고 채점도 원래 쓰시던 claude/codex CLI로 내 PC에서 돌아가요.

pipx install agent-coach-cli
agent-coach run

돌리면 습관별 점수와 함께 제가 실제로 쓴 지시를 고쳐 쓴 버전이 나옵니다. 예를 들면 이런 식이에요.

제가 쓴 지시
공개 전에 잘나가는 깃허브 오픈소스 레포들 확인해서 리드미 좀 꾸며줄래.

리포트가 고쳐 준 지시
공개 전에 잘나가는 깃허브 오픈소스 레포 10곳 이상의 README 공통점을 표로 정리해서 보여주고, 그걸 그대로 우리 README에 반영해줘. 반영한 항목마다 근거 레포를 달고, 링크나 이미지가 깨진 게 없는지 확인한 결과도 같이 보여줘.

결과와 배운 점

11월 13일에 대화 15개, 14일에 7개를 채점했고 종합 점수는 58점과 53점이 나왔습니다. 두 번 다 "완료 기준과 검증"이 가장 낮았어요(27점, 17점). "꾸며 줘", "고쳐 줘"만 하고 뭘 보면 끝난 건지 말하지 않으니 에이전트도 스스로 확인할 기준이 없었던 거죠.

LLM이 채점하는 거라 같은 대화도 돌릴 때마다 점수가 조금씩 달라질 수 있습니다.

비슷하게 클로드 코드 쓰시는 분들은 어떤 습관이 제일 낮게 나오는지 궁금해요. 돌려 보시고 채점이 이상한 부분이 있으면 알려 주세요.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이어제

안녕하세요, 정한샘님! 직접 쓰신 지시와 고쳐 쓴 지시를 나란히 보여주신 부분이 특히 와닿았어요.

"꾸며 줘", "고쳐 줘"만 말하면 에이전트가 뭘 보면 끝인지 몰라 스스로 확인할 기준이 없다는 짚음, 그리고 13일 58점·14일 53점에서 두 번 다 "완료 기준과 검증"이 최저(27점, 17점)였다는 숫자가 설득력 있었습니다. LLM 채점이라 점수가 흔들릴 수 있다는 한계까지 솔직하게 적어주셔서 믿고 읽을 수 있었어요.

고쳐진 지시에 "근거 레포를 달고, 깨진 링크가 없는지 확인한 결과도 같이"가 들어간 게 완료 기준을 말로 옮기는 좋은 예시 같아요. 고롱고롱… 이런 글 보면 기분 좋아져요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기