클로드 코드(Claude Code)에 앤트로픽 공식 평가(eval) 스킬을 깔고, 팀원 작업 기록을 읽는 피드백 AI의 시험지를 만들었어요.
클로드 eval 스킬
로나에는 피드백 코치라는 기능이 있어요. 팀원이 클로드 코드로 일한 작업 기록을 읽고 "이렇게 쓰면 더 좋아요"를 알려 주는 AI예요. 우리 회사 팀원들이 처음 받아 볼 사람들이에요.
문제는 이 코치가 피드백을 잘 주는지 잴 방법이 없었다는 거예요. 지금까지는 제가 작업 기록을 손으로 읽고 코치의 답과 비교했어요. 클로드에게 "eval 방법론 써서 해 줘"라고 부탁도 했는데, 체계적으로 되진 않았어요.
그러다 태현님이 링크 하나를 공유해 주셨어요.
클로드의 공식 Eval 스킬이 나왔습니다
https://x.com/ClaudeDevs/status/2104676099083190435
앤트로픽 eval 스킬은 누가 언제 쓰나
eval은 AI가 일을 잘하는지 시험지를 만들어 점수로 재는 방법이에요. 앤트로픽 안내서는 시험지를 세 가지로 설명해요. 문제(실제로 들어올 입력 예시 묶음), 돌리는 방법(내 AI에 문제를 하나씩 넣는 것), 채점 방법이에요.
안내서가 말하는 쓰는 사람은 클로드로 기능이나 앱을 만든 사람이에요. 쓰는 때는 뭔가를 바꾸기 직전이에요. 안내서에 나온 예는 셋이에요.
새 모델로 갈아탈 때
프롬프트를 고쳐 쓸 때
AI에 도구를 하나 더 붙일 때
바꾼 뒤에 "좋아졌나"를 느낌이 아니라 점수로 보려는 거예요. 안내서는 목표를 "배포할지 말지 정하는 데 쓸 수 있는 시험지"라고 적어 두었어요. 스터디 멤버라면 고객 응대 봇이나 요약 스킬의 프롬프트를 고칠 때가 여기에 해당해요.
안내서는 넷이에요.
시험지 만들기(build-eval): 무엇을 잴지 묻고, 문제를 고르고, 채점법을 정해, 돌릴 수 있는 시험지까지 만들어요.
점수 올리기(eval-hillclimb): 돌리고, 틀린 답을 읽고, 고치고, 다시 돌려요. 고칠 때 본 문제로 점수를 매기지 말라는 경고가 들어 있어요.
시험지 점검(eval-audit): 시험지가 망가졌으면 점수가 그럴듯하게 틀린 쪽을 가리킨다고 해요. 그래서 점수 내기 전에 먼저 봐요.
비용 줄이기(cost-hillclimb): 품질은 지키면서 돈을 줄이는 순서예요.
모든 결정은 클로드가 추천안을 먼저 내밀고 사람이 고르는 식이에요. 기본값을 믿으면 "네"만 눌러도 넘어가요. 클로드 코드에서 /claude-api build-eval 처럼 불러요. 제 컴퓨터에는 원래 있던 claude-api와 이름이 겹쳐서 claude-api-evals라는 이름으로 깔았어요.
클로드 코드가 스킬을 안 켠 장면
처음엔 순조로워 보였어요. 클로드와 함께 팀원 A의 작업 기록 12개를 읽고 정답지를 적었어요. "이 기록에서 코치는 이 피드백을 내야 한다, 이건 내면 안 된다"를 칸마다 나눠 적었죠.
정답지를 꽤 적은 뒤에 문득 궁금해서 물었어요.
그렇게하자. 그리고 지금 우리가 하고 있는 방법론이 anthropic의 eval 발표한거에 맞춰서 되고 있는건 맞니?클로드가 안내서 원문을 그제야 열어 대조했어요.
큰 방향은 맞는데, 글자 그대로는 아니야.
스킬을 실제로 실행하진 않았어. 내가 안내서 순서를 손으로 따라 한 거야.
문제 수가 부족해. 안내서는 15개에서 100개를 권하는데 우린 12개에 한 사람이야.
순서가 거꾸로였어. 안내서 첫 단계는 「무엇을 잴지 못박기」인데, 우린 기준이 바뀌는 중에 정답부터 적었어.
공식 스킬을 쓰려고 시작한 일인데 스킬을 안 켰다는 말이었어요. 그래서 바로 되물었어요.
스킬을 실제로 실행해서 하지 않은 이유는 뭐야?내가 말없이 손으로 하기로 정했어. 스킬은 선택 창을 띄워서 질문을 4개씩 묶어 묻는 방식이야. ny 규칙(창 금지, 한 번에 하나)과 안 맞아서 피했는데, 그걸 ny 한테 묻지 않았어.
저는 긴 글을 읽기 어려워서 "질문은 터미널 글로 하나씩"이라는 규칙을 클로드에게 걸어 두었어요. 클로드는 그 규칙과 스킬이 부딪히자, 묻지 않고 스킬을 빼 버렸어요. 그 뒤로는 새 대화를 열 때마다 "스킬을 실제로 켜고, 선택 창 질문만 터미널 글로 하나씩 옮겨 물어라"를 첫 줄에 적었어요.
eval 점검표로 정답지 12개 보기
스킬 안에는 시험지 점검표가 있어요. 점수를 내기 전에 "이 정답지로 낸 점수를 믿어도 되나"를 보는 표예요. 이미 적은 정답지 12개를 이 표로 먼저 봤어요. AI 호출은 0번이었고, 클로드가 파일과 원문만 대조했어요.
정답지 자체는 멀쩡했어요. 적어 둔 근거와 숫자가 원문과 다 맞았어요. 근데 점수를 틀리게 만들 문제가 세 개 나왔어요.
이 12개는 이틀 전에 코치의 지시문을 고칠 때 이미 본 기록이었어요. 답을 본 문제로 시험을 보는 셈이라 연습용으로만 쓰기로 했어요.
12문제로 한 번 돌리면 점수가 위아래로 29점씩 흔들려요. 25문제를 두 번 돌려야 14점 안으로 줄어요.
찾아야 할 정답 20개 중 7개가 한 항목에 몰려 있었어요. 하필 그 항목은 새로 만드는 기준에 없었어요.
정답지를 열심히 적었는데 시험용으로는 거의 못 쓰게 된 거예요. 그래도 점수를 내기 전에 알아서 다행이었어요.
무엇을 잴지부터 다시 정하기
안내서의 첫 단계는 "무엇을 잴지 못박기"예요. 새 대화에서 스킬을 켜고 이 단계부터 다시 했어요. 클로드가 묻고 제가 답하는 식으로 셋을 정했어요.
재는 것: 작업 기록 한 개를 읽고 내린 판정이 맞는가. 피드백 문장이 예쁜지는 아직 안 재요.
재는 대상: 지금 코치가 아니라 새 기준으로 답하는 코치예요. 지금 코치는 옛 기준 15개로 답해서, 지금 재면 곧 버릴 것에 점수를 매기게 돼요.
답 칸: 기준마다 "지킴, 안 지킴, 해당 없음" 셋 중 하나.
마지막 칸에서 시간이 걸렸어요. 팀원 A는 기획 일을 해서 저장점(커밋)을 한 번도 안 만들었어요. 이게 "안 지킴"인지 "해당 없음"인지 정해야 했죠. 저는 "되돌릴 일이 있었는지는 그때 가 봐야 아는 거고, 미리 저장해 두는 게 무조건 이득"이라고 답했어요. 그래서 파일을 여러 번 고쳤는데 돌아갈 판이 없으면 "안 지킴"으로 정했어요.
짜치는 피드백을 버리고 도구 제안 세 줄로
그다음은 실제 장면을 보며 정답을 적는 단계였어요. 클로드가 장면을 하나씩 가져왔는데, 볼수록 마음에 안 들었어요. 한 번 삐끗한 사건뿐이었거든요.
이런 짜치는건 굳이 피드백으로 나가라 마라 안 하고 싶긴함.. 좀 제대로 임팩트 있는 피드백을 주면 좋겟는데 너의 제안들이 하나같이 다 안 와닿고 별로 마음에 안 들어 미안한데그래서 숫자가 붙는 큰 것만 남기기로 했어요. 팀원 A와 팀원 B의 작업 기록 64개를 크기로 다 시 봤어요. 큰 것은 거의 "대화 하나를 며칠씩 이어 쓰기" 하나에 몰려 있었어요. 팀원 B의 기록에는 대화 하나에 쌓인 양이 50만 토큰을 넘은 적도 있었어요.
중간에 틀린 피드백도 하나 잡았어요. 클로드가 팀원 B에게 "고칠 때마다 2분짜리 검사가 돌았으니 규칙 파일에 적어 두세요"를 냈어요. 제가 "애시당초에 왜 이렇게 되었던 것이야?"라고 물었더니, 원인은 팀원 B가 만들어 둔 규칙 파일이었어요. 게다가 팀원 B는 그 자리에서 이미 규칙을 고쳐 두었어요. 원인을 안 보고 만든 피드백은 틀린다는 걸 이때 알았어요. 이 장면의 정답은 칭찬으로 바꿨어요.
그래도 와닿지 않았어요. 제가 그리던 그림은 강의에서 강사님이 주는 팁 같은 거였어요. "이럴 땐 이 도구를 써 보세요" 같은 말이요. 이 눈으로 두 사람의 기록 63개를 다시 훑었어요.
고객 회신이 올 때마다 직접 「회신 왔다 확인해」로 시작했습니다. 두 달 동안 5번, 고객 4곳입니다. 예약 기능은 5월에 한 번 쓰고 안 썼습니다.
이건 바로 와닿았어요. 정해진 시간마다 클로드가 알아서 일하게 거는 예약 실행(크론)을 권하면 되니까요. 그래서 정답의 모양을 세 줄로 정했어요.
본 것: "고객 회신이 올 때마다 직접 시작하셨어요. 두 달간 5번이에요."
이 사람 경우의 그림: "예약 실행을 걸면 매일 아침 9시에 클로드가 메일함을 보고 회신을 요약해 줘요."
시작하는 법: "클로드 코드에서 /schedule을 치고 원하는 시각과 할 일을 말하면 돼요."
다른 팀원 기록에서도 하나 나왔어요. 팀원 C는 "배포해" 한마디에 무거운 배포 스킬이 통째로 돈 적이 8번 있었어요. 이 8번에 2억 토큰 넘게 들었고, 버튼 하나 지우는 데 84분 걸린 적도 있어요(자동 검사 대기 시간 포함). 도구를 권하는 게 아니라 "작은 변경엔 이 스킬을 쓰지 마세요"를 알려야 하는 장면이에요.
클로드 코드로 eval 따라 하는 법
해 보니 순서가 제일 중요했어요. 정답부터 적지 말고, 스킬을 켜서 첫 단계부터 가세요. 이렇게 시키면 돼요.
[내 AI 기능 이름]이 일을 잘하는지 재는 시험지를 만들고 싶어.
claude-api 스킬의 build-eval 안내서를 실제로 켜서 0단계(무엇을 잴지)부터 같이 하자.
안내서를 손으로 흉내 내지 말고, 스킬과 내 규칙이 부딪히면 먼저 나한테 물어봐.
문제는 [실제 사용 기록 위치]에서 고르고, 이미 본 기록은 시험용에서 빼 줘.저도 아직 여기까지예요. 남은 것을 적어 둘게요.
점수가 없어요. 안내서의 2단계(채점법)와 3단계(돌리기)가 남았어요.
시험용 기록을 아직 안 뽑았어요. 이미 본 기록을 빼고 다른 팀원 기록에서 새로 골라야 해요.
세 줄 정답을 붙일 "상황과 도구" 목록을 아직 다 못 만들었어요. 강의에서 뽑은 짝 16개가 출발점이에요.
기준 초안은 아직 제가 확정하지 않았어요.
하나 더, 같은 날 클로드 대화를 여러 개 열어 비슷한 일을 동시에 했어요. 한쪽은 기준을 팀원 7명의 기록 28개에 대 보고, 다른 쪽은 스킬로 시험지를 만들었어요. 중간에 두 대화가 겹치는지 따로 확인해야 했어요.
