AI가 매기는 점수, 믿어도 될까? — 리드 채점기에 평가(Eval)를 붙여봤습니다
2026.07.24
안녕하세요, 지피터스 김현철입니다.
지난번에 매일 아침 커맨드 한 번으로 B2B 리드를 찾아주는 Loop를 만들었다는 글을 올렸는데요, 그 Loop를 며칠 돌리다 보니 찜찜한 게 하나 생겼습니다. AI가 매일 후보 회사마다 0~100점을 매기는데, 그 점수가 맞는지는 아무도 확인 안 하고 있었어요. 실제로 같은 기사를 두 번 채점시켰더니 한 번은 73점, 한 번은 63점이 나왔습니다. 10점이 그냥 흔들린 거죠.
그래서 이번엔 로나(rona.so)에서 "내 기능에 평가 붙이기 — AI Eval 한 바퀴" 실습을 받아서, 이 채점기에 재실행 가능한 평가 세트를 붙였습니다. 반나절 정도 걸렸고, 끝나고 나니 커맨드 한 번으로 채점기의 품질을 다시 검사할 수 있게 됐습니다.
뭘 만들었나
AI 평가(Eval)는 거창한 게 아니라 이 순환을 만드는 일이었습니다:

실행 기록 남기기 — 오늘 수집된 실제 기사 15건을 채점시키고, 최종 점수만이 아니라 차원별 점수와 근거 문장까지 한 줄씩 기록으로 남깁니다. 나중에 "왜 63점이지?"를 되짚을 수 있는 블랙박스예요.
사람이 직접 읽기 — 통계보다 먼저 제가 15건을 전부 읽었습니다. 미리 실패 유형을 정해놓고 끼워 맞추는 게 아니라, "이상하다" 싶은 걸 그대로 메모하고 나중에 묶었어요.
싼 수정 먼저 — 발견된 문제 중 두 개는 채점기가 아니라 규칙 한 줄로 고쳐지는 거였습니다. 바로 설정 파일에 박았어요.
코드 체크 + AI 심판 — 남은 것 중 "총점이 공식과 맞나" 같은 건 if문으로, "근거 문장이 점수를 정당화하나" 같은 판단만 AI 채점기(심판)로 나눴습니다.
골든셋으로 재실행 — 제가 정답을 확정한 문제집 7개를 만들어, 기준이나 프롬프트가 바뀔 때마다 전체를 다시 돌립니다.
배운 것 3가지
1. 실패는 제가 생각한 곳에 없었습니다
읽기 전엔 "점수가 후하거나 짜겠지"라고 예상했는데, 15건을 직접 읽어보니 채점 자체는 견고했어요(버려야 할 기사 10건은 10건 다 정확히 버림). 진짜 문제는 점수를 매긴 다음이었습니다. 기준상 등록해야 할 B급 리드가 "하루 1건" 규칙과 충돌하면 아무 기록 없이 조용히 사라지고 있었어요. 트레이스를 직접 읽지 않았으면 영영 몰랐을 겁니다.
2. AI 심판의 숫자는 검증 전까지 믿으면 안 됩니다
"근거가 점수를 정당화하나"를 판정하는 AI 심판을 만들어 돌렸더니 5건 중 4건이 불합격, 실패율 80%가 나왔습니다. 여기서 그냥 믿었으면 멀쩡한 채점기를 뜯어고쳤을 거예요.

제가 정답 라벨을 붙여 대조해보니 진짜 실패는 0건 — 심판의 기준이 저와 어긋나 과잉 반려하고 있던 것이었습니다. 심판 기준을 제 기준으로 고쳐 재검증을 통과시켰어요. "검증 안 된 AI 심판은 또 다른 느낌 평가다"라는 말을 숫자로 체감한 순간이었습니다.
3. AI에게 "그거 어떻게 알았어?"라고 물어보세요
심판이 불합격시킨 이유가 "출처 없는 근거"였는데, 정작 그 근거들("이 회사엔 인재개발원이 있다" 같은 것)이 어디서 왔는지 궁금해서 물었습니다. 답은 검색이 아니라 AI의 사전학습 지식이었어요. 출처를 같이 기억하지 못하고, 낡았을 수 있고, 드물게 지어낼 수도 있는 지식이죠. 그래서 "실재가 확인되는 상설 조직만 인정하되 반드시 표기하고, 컨택 전에 사람이 재검증한다"는 규칙을 기준 문서에 못 박았습니다. AI의 판단 재료가 어디서 오는지 캐물으면, 그 답이 그대로 운영 규칙이 됩니다.
마지막 관문: 일부러 부숴보기
전부 초록불이 뜬 다음, 마지막으로 가짜 데이터를 일부러 주입했습니다. 차원 합은 55점인데 총점을 70점으로 부풀린 채점을 몰래 끼워 넣었어요. 검사가 즉시 잡아냈습니다. 앞으로 프롬프트나 모델이 바뀌어 채점이 슬쩍 부풀려지는 일이 생기면, 사람이 눈치채기 전에 이 검사가 막아줍니다. 초록불만 보고 안심하지 말고, 한 번은 일부러 부숴서 방어막이 진짜 작동하는지 확인해보세요.
마무리
지난 글에서 "AI에게 일을 시킨다는 건 내 판단 기준을 인수인계 문서로 만드는 일"이라고 썼는데, 이번 작업은 그 다음 문장이었습니다. "그 기준이 지켜지는지는 별도의 검사 장치가 재본다." 감으로 "잘 되는 것 같은데"가 아니라, 커맨드 한 번으로 골든셋 7문제가 다시 풀리고 회귀가 걸러지는 상태가 되니, 이제 기준을 고치는 게 무섭지 않습니다.
궁금한 점 있으면 댓글로 물어봐주세요!
사용 도구: Claude Code + 로나(rona.so) 실습 "내 기능에 평가 붙이기" + gpters-evals 플러그인 · 제작 시간: 약 반나절 · 결과: 평가 폴더 12파일 + 재실행 커맨드 /lead-prescreen-eval + 운영 규칙 3건 개선
로그인하고 댓글을 남겨 주세요
심판이 불합격시킨 이유가 "출처 없는 근거"였는데, 정작 그 근거들("이 회사엔 인재개발원이 있다" 같은 것)이 어디서 왔는지 궁금해서 물었습니다. 답은 검색이 아니라 AI의 사전학습 지식이었어요.
> 이 부분이 충격적이군요. 직접 안 물어봤으면 절대 몰랐을 .. ㅎㅎ
결과적으로 확정한 골든셋이 뭔지도 궁금합니다.
누리님은 이미 잘 아시겠지만, AI Eval(평가)를 첨 접하시는 분들을 위해서 (저도 AI의 도움을 받아) 최대한 쉽게 풀어 답변드립니다.
골든셋(정답을 미리 정해둔 문제집)은 7개입니다. AI가 그날 실제로 채점했던 기사 15건 중에서 7건을 골라, "이 기사는 이렇게 처리하는 게 정답이다"를 제가 직접 확정했어요.
문제는 크게 두 종류인데요.
- 점수 매긴 다음 처리를 잘했나? (5문제)
잘한 사례 3개와, 본문에 나온 잘못한 사례 2개(등록됐어야 할 리드가 조용히 사라진 것)를 함께 넣었습니다. 잘못한 사례를 일부러 넣은 이유는, 잘한 것만 모아두면 나중에 AI 설정을 고쳤다가 옛날 실수가 다시 생겨도 알아챌 방법이 없어서에요.
- 점수의 근거가 믿을 만한가? (2문제)
본문의 그 "인재개발원" 건도 "출처를 밝히고, 연락 전에 사람이 확인한다는 조건으로 인정"이라고 정답을 정해서 넣었습니다.
이제 기준이나 프롬프트를 고칠 때마다 이 7문제를 다시 풀게하고, 하나라도 틀리면 바로 알 수 있습니다. 운영하다 헷갈리는 사례가 나올 때마다 정답을 정해서 한 문제씩 늘려갈 예정이에요.
매주 일용한 로나 실습을 제공해 주셔서 고맙습니다:)
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.


![[AX] AgentBrowser 끝판왕 비교, Aside vs CDP 실제 확인해봤어요 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F8a390ee32ae65eac35925a7c.jpg&w=3840&q=75)

코드로 검증하는 것은 없었나요? LLM에게 의존하는 것을 줄이는게 가장 Eval을 쉽게 하는 방법 같아서요
AI심판은 딱 1개만 담당하고, 나머지 4개의 검사는 모두 코드로 진행했어요:)