[Claude Code] 하루 만에 AI Eval 구축 — 사람이 할 일은 딱 하나였다
2026.07.24
우리 팀에는 전략 아이디어를 넣으면 목표 문서를 만들어주는 AI 스킬이 있어요.
g-init - Linear 업무 관리 툴의 Initiative(3-6개월간의 업무 목표)를 작성해 주는 스킬
g-10x - 지금 하려는 일을 분석해서 10대 더 좋은 대안을 찾아주는 스킬. g-init 내부적으로 사용됨
즉, 우리 팀이 장기적 계획을 세울 때, 달성하고자 하는 목표를 넣으면, 그걸 해내기 위해서 10배 더 좋은 방안으로 기획을 해주는 스킬이에요.
그리고, 이 스킬의 결과물이 그럴듯해 보이면 통과, 이상하면 그때그때 프롬프트를 고치는 식으로 써왔죠. 그런데 어느 날 문득 불안해졌습니다. "이거… 잘 되고 있는 게 맞나? 지난번에 고친 건 지금도 잘 되나?" 확인할 방법이 없더라고요.
그래서 하루를 잡고 AI Eval(AI 기능의 품질을 자동으로 채점하는 장치)을 처음 만들어봤습니다. 결론부터 말하면 — 눈으로 못 잡던 실패를 숫자로 잡았고(6건 중 6건에서 같은 유형의 누락 발견), 33%씩 나오던 실패 하나는 규칙 한 줄로 0이 됐고, 이제 기능을 고칠 때마다 자동으로 "예전 문제가 재발했는지" 검사가 돌아갑니다. 그리고 가장 놀란 건, 이 모든 걸 만드는 데 사람인 제가 한 일이 딱 하나였다는 거예요.
AI Eval? 어렵게 들리지만 학교 시험이랑 똑같습니다
AI Eval은 g-init과 같은 Skill 혹은 AI 기능이 확률적인 결과를 내어 놓으므로, 그 결과를 평가하여 일정 수준 이상의 결과만 통과시키기 위한 평가 방법론입니다.
시작하기 전에 용어부터 정리할게요. 저도 처음엔 이 용어들 때문에 진입이 어려웠는데, 알고 보니 전부 학교 시험에 있는 것들이었습니다.

트레이스(trace) = 학생이 푼 시험 답안지. AI가 실제로 낸 결과의 기록이에요. 채점을 하려면 일단 답안지가 있어야 하죠.
코드 체크(code check) = OMR 자동 채점기. "필수 항목이 있는가?" 같은 객관식 문제는 기계가 O/X로 채점합니다.
AI 심판(LLM judge) = 논술 채점 위원. "표현이 자연스러운가?"처럼 해석이 필요한 문제만 AI가 기준을 보고 채점해요.
골든셋(golden set) = 기출 문제집 + 정답지. "이건 절대 틀리면 안 된다"는 검증된 문제 모음입니다.
이 네 가지면 오늘 이야기의 90%는 따라오실 수 있어요.
시작은 답안지 모으기 — 가짜 말고 진짜로
Rona 실습 코칭을 받으며 진행했는데, 첫 단계부터 원칙이 하나 있었습니다. 가상의 예시 말고, 실제로 썼던 입력만 쓸 것. 그래서 실제 업무에서 이 스킬을 사용했던 입력 6건(채용 자동화, 콘텐츠 리드, 개인정보 처리방침 개정 등)으로 AI 기능을 돌려 답안지 6장을 만들었어요.
사내 AX / Rona 해외 검증 / 기업 교육 매출 / 채용 자동화 /콘텐츠 리드 / 개인정보 처리방침 — 실제 입력 6건으로 트레이스 생성
여기까지는 Claude Code가 다 했습니다. 저는 지켜봤고요.
요약만 보고 채점했다가 틀렸습니다
다음은 답안지를 읽고 "뭐가 실패인지" 찾는 단계. 여기서 제가 제대로 넘어졌어요.
처음엔 아무리 봐도 문제가 안 보였습니다.
이상해보이는 것 못 찾았어.Claude가 "기준 문서를 옆에 놓고 대조하며 읽는 법"을 알려줘서 다시 시도했는데, 이번엔 채팅창에 요약된 일부만 보고 판단했더니 답이 틀렸어요. 그래서 물었죠.
원문을 안 봐서 그런지 잘 모르겠어. 원문이 어떤 파일이야?트레이스 전체를 읽을 수 있는 원문 파일(즉, 원문 결과 내용)을 열고 나서야 실패가 보이기 시작했습니다.
t03 - target date가 없음t04 - 핵심 결과 목표가 논리적인 설명이 없음
t05 - 시간 40% 단축이라는게 좀 더 논리적 설명이 필요
찾은 실패의 정체는 "근거 없는 숫자" — 입력에 없는 개선율(40% 단축 같은)을 AI가 지어내고 있었던 거예요. 6건 중 2건, 33%였습니다. 눈으로 슥 볼 때는 그럴듯해서 전혀 안 보이던 문제였어요.
솔직히 말하면 이 트레이스 분석이 이번 실습에서 제일 어려웠습니다. 필수 항목이 다 있는지, 숫자에 근거가 있는지, 표기 규칙을 지켰는지 — 여러 조건을 동시에 머리에 띄워놓고 읽어야 하거든요. 대신 배운 게 확실합니다. AI가 요약해준 것만 보고 판단하면 틀린다. 원문을 직접 읽어야 한다.
실패 하나 고치는 데 규칙 한 줄이면 됐습니다
실패를 찾았으니 고칠 차례. 거창한 재개발이 아니라, AI 기능의 지시문에 규칙 한 줄을 추가했습니다. "입력에 없는 숫자를 쓰지 말고, 기준선이 없으면 '측정 예정'이라고 써라." 그리고 실패했던 2건을 다시 돌렸더니 — 근거 없는 숫자 0건.
측정이 있으니 개선이 이렇게 가벼워지는구나 싶었어요. 뭐가 문제인지 정확히 아니까요.
채점 자동화 — 기계는 저보다 3배 더 찾았습니다
이제 매번 사람이 읽지 않아도 되게 채점을 자동화했습니다. 역할 분담이 핵심이에요.
객관식(필수 항목 유무, 마감일 표기, 금지 표현)은 코드 체크가 O/X로 자동 판정
해석이 필요한 것(불필요한 영어 용어)만 AI 심판이 채점 — 단, 심판이 믿을 만한지 사람 정답과 대조해 검증까지
재미있는 게, 제가 손으로 찾은 마감일 누락은 2건이었는데 코드 체크를 돌리니 8건 중 6건이 같은 문제였습니다. 사람 눈은 표본 조사, 기계는 전수 조사더라고요.

일부러 망가뜨려 봤습니다 — 회귀 게이트
마지막 장치가 제일 마음에 들었는데요, 골든셋(틀리면 안 되는 검증된 사례 모음)을 만들고, 기능을 고칠 때마다 자동으로 전체 채점을 돌려 골든셋과 비교하게 했습니다. 하나라도 어긋나면 "반영 차단"이 뜨는 구조예요.

정말 작동하는지 확인하려고 일부러 트레이스 하나를 망가뜨려 봤습니다.
네, 해보죠 (실패 주입 테스트 동의)결과: 게이트가 바로 FAIL을 띄우며 차단 → 복원하니 PASS. "예전에 잡은 문제가 다시 생기면 기계가 잡아준다"는 안전망이 생긴 순간이었어요.
두 번째 바퀴는 2.5시간 — 그리고 이번엔 다른 실패
첫 바퀴(약 6시간 - 다른 것도 하면서 조금씩 했습니다)를 끝내고 아쉬움이 남았어요. 사실 더 중요한 기능이 따로 있었거든요. 그래서 바로 물었습니다.
g-10x 쪽도 한번 시도해보자두 번째 바퀴는 같은 구조를 복제하니 2.5시간(이때도 병렬 작업해서 ...)밖에 안 걸렸습니다. 그리고 이번엔 전혀 다른 실패가 나왔어요. 제가 원문을 읽다 발견한 건 — AI가 외부 리서치를 해야 하는 상황에서 83%나 건너뛰고 자기 추론만으로 답을 채우고 있다는 것. 규칙을 강제로 바꾸고 재실행하니, 리서치가 실제로 결론을 바꿨습니다(AI가 제안한 해법이 이미 시장 표준 상품이라는 걸 검색이 밝혀냄).
같은 기능군인데 바퀴마다 실패 유형이 완전히 달랐다는 것도 배움이었어요. 실패는 미리 예상해서 체크리스트로 만드는 게 아니라, 답안지를 읽어야 나옵니다.

결과
항목 | Before | After |
|---|---|---|
품질 확인 방식 | 결과물을 눈으로 보고 감으로 판단 | 자동 채점 + 골든셋 회귀 게이트 |
실패 파악 | "뭔가 이상한데?" 수준 | 유형별 계수 (근거 없는 숫자 33%, 리서치 생략 83%…) |
고친 뒤 확인 | 방법 없음 (재발해도 모름) | 명령 하나로 재검사, 재발 시 자동 차단 |
구축 시간 | — (시작도 못 했을 것) | 첫 바퀴 6시간, 두 번째 바퀴 2.5시간 |
수치 밖의 변화가 더 큽니다. 이 기능을 "고쳐도 되나?" 하는 불안이 사라졌어요. 골든셋이 지켜보고 있으니까요.
가장 큰 깨달음 — 사람 몫은 생각보다 적었다, 아직은
솔직히 Eval은 공부할 게 많은 전문 영역이라고 생각했는데, 해보니 AI 성능이 올라온 지금은 사람이 해야 할 부분이 많이 줄어 있었습니다. 채점 코드 작성, AI 심판 프롬프트, 골든셋 구성, 검증 통계까지 — 전부 Claude Code가 만들었어요. 사람인 제가 한 대체 불가능한 일은 딱 하나, 답안지 원문을 직접 읽고 "이건 실패다"라고 판단하는 것이었습니다. 정답의 기준은 결국 그 업무를 아는 사람 머릿속에만 있으니까요.
다만 단서가 하나 있습니다. 지금은 제일 좋은 모델을 넉넉하게 쓰니 이 정도로 단순한데, 서비스가 커져서 가격 경쟁력을 위해 더 작은 모델로 최적화하기 시작하면 품질이 흔들리는 지점이 늘어나고, 그만큼 Eval도 점점 복잡해질 거예요. 그래서 지금처럼 쉬울 때 시작해두는 게 남는 장사라고 생각합니다.
AI 활용 팁!
이 방법은 "AI에게 시키는 반복 업무"가 있다면 어디든 적용할 수 있어요. 보고서 초안 생성, 고객 답변 작성, 콘텐츠 요약 — 결과물이 쌓이는 일이라면 전부 답안지(트레이스)가 됩니다.
주의할 점 두 가지만요.
실제 사용 기록부터 모으세요. 가상 예시로 만든 평가는 가상의 문제만 잡습니다. 오늘부터 AI에게 시킨 입력과 결과를 버리지 말고 모아두는 것이 Eval의 진짜 시작이에요.
트레이스 분석(답안지 읽기)은 만만치 않습니다. 여러 조건을 동시에 봐야 해서 저도 두 번 틀렸어요. AI 요약 말고 원문을 열고, 기준 문서를 옆에 두고 대조하세요. 이 단계만큼은 시간을 들일 가치가 있습니다.
바로 쓸 수 있는 프롬프트
내 [AI 기능/커스텀 지침 이름]에 평가(Eval)를 붙이고 싶어. 다음 순서로 진행해줘.
내가 실제로 썼던 입력 [N]건으로 이 기능을 실행해서, 입력·중간 판단·출력을 기록한 트레이스 파일을 만들어줘. 가상 예시는 쓰지 마.
내가 원문을 직접 읽을 수 있는 읽기용 파일을 만들어줘. 실패 판정은 내가 한다. 네가 미리 라벨을 붙이지 마.
내가 찾은 실패 유형 중 규칙으로 판정 가능한 것은 자동 체크 코드로, 해석이 필요한 것만 AI 심판으로 만들어줘.
실패 사례와 정상 사례를 섞은 골든셋을 만들고, 기능을 고칠 때마다 전체를 재채점해서 골든셋과 어긋나면 차단하는 실행 스크립트를 만들어줘.
1순위 실패는 기능의 지시문에 규칙을 추가하는 방식으로 먼저 고치고, 재실행으로 효과를 검증해줘.
[N]과 기능 이름은 본인 상황에 맞게 변경하세요.
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.


![[AX] AgentBrowser 끝판왕 비교, Aside vs CDP 실제 확인해봤어요 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F8a390ee32ae65eac35925a7c.jpg&w=3840&q=75)

OMR 채점기, 논술 채점 위원 - 너무 비유가 찰떡입니다. 지금까지 본 비유 중 가장 와닿네요.
저도 트레이스 분석이 어려운 경우들이 있었는데, 저 조차 인간지능으로도 pass인지 fail인지 결정하기 애매하거나 pass인지 보려면 다른 데이터를 뒤져야하는 경우도 있었던 것 같아요.
AI가 외부 리서치를 건너뛰고 추론으로 답을 채우고 있었던건 트레이스 원문 보시고 발견하셨다는거죠? 이건 직접 하나씩 안 읽었으면 발견하기 정말 힘들었을 것 같습니다.