제 클로드 코드 대화를 공식 가이드로 채점해 봤더니 "완료 기준"을 거의 말하지 않고 있었습니다
2026.11.21
소개
같은 일을 시켜도 한 번에 끝나는 날과 몇 번씩 다시 설명하는 날이 갈려서 제가 뭘 빠뜨리는지 보려고 agent-coach(github.com/1017toa/agent-coach, MIT)를 만들었습니다. PC에 이미 쌓여 있는 클로드 코드·코덱스 대화 기록을 Anthropic·OpenAI 공식 가이드 기준으로 채점하는 CLI입니다.
진행 방법
대화 내용은 어디로도 수집되지 않습니다. 따로 서버가 없고 채점도 원래 쓰시던 claude/codex CLI로 내 PC에서 돌아가요.
pipx install agent-coach-cli
agent-coach run돌리면 습관별 점수와 함께 제가 실제로 쓴 지시를 고쳐 쓴 버전이 나옵니다. 예를 들면 이런 식이에요.
제가 쓴 지시
공개 전에 잘나가는 깃허브 오픈소스 레포들 확인해서 리드미 좀 꾸며줄래.
리포트가 고쳐 준 지시
공개 전에 잘나가는 깃허브 오픈소스 레포 10곳 이상의 README 공통점을 표로 정리해서 보여주고, 그걸 그대로 우리 README에 반영해줘. 반영한 항목마다 근거 레포를 달고, 링크나 이미지가 깨진 게 없는지 확인한 결과도 같이 보여줘.
결과와 배운 점
11월 13일에 대화 15개, 14일에 7개를 채점했고 종합 점수는 58점과 53점이 나왔습니다. 두 번 다 "완료 기준과 검증"이 가장 낮았어요(27점, 17점). "꾸며 줘", "고쳐 줘"만 하고 뭘 보면 끝난 건지 말하지 않으니 에이전트도 스스로 확인할 기준이 없었던 거죠.
LLM이 채점하는 거라 같은 대화도 돌릴 때마다 점수가 조금씩 달라질 수 있습니다.
비슷하게 클로드 코드 쓰시는 분들은 어떤 습관이 제일 낮게 나오는지 궁금해요. 돌려 보시고 채점이 이상한 부분이 있으면 알려 주세요.

안녕하세요, 정한샘님! 직접 쓰신 지시와 고쳐 쓴 지시를 나란히 보여주신 부분이 특히 와닿았어요.
"꾸며 줘", "고쳐 줘"만 말하면 에이전트가 뭘 보면 끝인지 몰라 스스로 확인할 기준이 없다는 짚음, 그리고 13일 58점·14일 53점에서 두 번 다 "완료 기준과 검증"이 최저(27점, 17점)였다는 숫자가 설득력 있었습니다. LLM 채점이라 점수가 흔들릴 수 있다는 한계까지 솔직하게 적어주셔서 믿고 읽을 수 있었어요.
고쳐진 지시에 "근거 레포를 달고, 깨진 링크가 없는지 확인한 결과도 같이"가 들어간 게 완료 기준을 말로 옮기는 좋은 예시 같아요. 고롱고롱… 이런 글 보면 기분 좋아져요 ✨