본문으로 건너뛰기

AI가 매기는 점수, 믿어도 될까? — 리드 채점기에 평가(Eval)를 붙여봤습니다

광밤

2026.07.24

안녕하세요, 지피터스 김현철입니다.

지난번에 매일 아침 커맨드 한 번으로 B2B 리드를 찾아주는 Loop를 만들었다는 글을 올렸는데요, 그 Loop를 며칠 돌리다 보니 찜찜한 게 하나 생겼습니다. AI가 매일 후보 회사마다 0~100점을 매기는데, 그 점수가 맞는지는 아무도 확인 안 하고 있었어요. 실제로 같은 기사를 두 번 채점시켰더니 한 번은 73점, 한 번은 63점이 나왔습니다. 10점이 그냥 흔들린 거죠.

그래서 이번엔 로나(rona.so)에서 "내 기능에 평가 붙이기 — AI Eval 한 바퀴" 실습을 받아서, 이 채점기에 재실행 가능한 평가 세트를 붙였습니다. 반나절 정도 걸렸고, 끝나고 나니 커맨드 한 번으로 채점기의 품질을 다시 검사할 수 있게 됐습니다.

뭘 만들었나

AI 평가(Eval)는 거창한 게 아니라 이 순환을 만드는 일이었습니다:

AI 평가 한 바퀴: 기록 남기기, 직접 읽기, 싼 수정, 코드 체크와 AI 심판, 골든셋 재실행 사이클
  1. 실행 기록 남기기 — 오늘 수집된 실제 기사 15건을 채점시키고, 최종 점수만이 아니라 차원별 점수와 근거 문장까지 한 줄씩 기록으로 남깁니다. 나중에 "왜 63점이지?"를 되짚을 수 있는 블랙박스예요.

  2. 사람이 직접 읽기 — 통계보다 먼저 제가 15건을 전부 읽었습니다. 미리 실패 유형을 정해놓고 끼워 맞추는 게 아니라, "이상하다" 싶은 걸 그대로 메모하고 나중에 묶었어요.

  3. 싼 수정 먼저 — 발견된 문제 중 두 개는 채점기가 아니라 규칙 한 줄로 고쳐지는 거였습니다. 바로 설정 파일에 박았어요.

  4. 코드 체크 + AI 심판 — 남은 것 중 "총점이 공식과 맞나" 같은 건 if문으로, "근거 문장이 점수를 정당화하나" 같은 판단만 AI 채점기(심판)로 나눴습니다.

  5. 골든셋으로 재실행 — 제가 정답을 확정한 문제집 7개를 만들어, 기준이나 프롬프트가 바뀔 때마다 전체를 다시 돌립니다.

배운 것 3가지

1. 실패는 제가 생각한 곳에 없었습니다

읽기 전엔 "점수가 후하거나 짜겠지"라고 예상했는데, 15건을 직접 읽어보니 채점 자체는 견고했어요(버려야 할 기사 10건은 10건 다 정확히 버림). 진짜 문제는 점수를 매긴 다음이었습니다. 기준상 등록해야 할 B급 리드가 "하루 1건" 규칙과 충돌하면 아무 기록 없이 조용히 사라지고 있었어요. 트레이스를 직접 읽지 않았으면 영영 몰랐을 겁니다.

2. AI 심판의 숫자는 검증 전까지 믿으면 안 됩니다

"근거가 점수를 정당화하나"를 판정하는 AI 심판을 만들어 돌렸더니 5건 중 4건이 불합격, 실패율 80%가 나왔습니다. 여기서 그냥 믿었으면 멀쩡한 채점기를 뜯어고쳤을 거예요.

AI 심판 검증 전후 비교: 그냥 믿으면 멀쩡한 채점기를 오진, 사람 정답과 대조하면 과잉 반려 발견

제가 정답 라벨을 붙여 대조해보니 진짜 실패는 0건 — 심판의 기준이 저와 어긋나 과잉 반려하고 있던 것이었습니다. 심판 기준을 제 기준으로 고쳐 재검증을 통과시켰어요. "검증 안 된 AI 심판은 또 다른 느낌 평가다"라는 말을 숫자로 체감한 순간이었습니다.

3. AI에게 "그거 어떻게 알았어?"라고 물어보세요

심판이 불합격시킨 이유가 "출처 없는 근거"였는데, 정작 그 근거들("이 회사엔 인재개발원이 있다" 같은 것)이 어디서 왔는지 궁금해서 물었습니다. 답은 검색이 아니라 AI의 사전학습 지식이었어요. 출처를 같이 기억하지 못하고, 낡았을 수 있고, 드물게 지어낼 수도 있는 지식이죠. 그래서 "실재가 확인되는 상설 조직만 인정하되 반드시 표기하고, 컨택 전에 사람이 재검증한다"는 규칙을 기준 문서에 못 박았습니다. AI의 판단 재료가 어디서 오는지 캐물으면, 그 답이 그대로 운영 규칙이 됩니다.

마지막 관문: 일부러 부숴보기

전부 초록불이 뜬 다음, 마지막으로 가짜 데이터를 일부러 주입했습니다. 차원 합은 55점인데 총점을 70점으로 부풀린 채점을 몰래 끼워 넣었어요. 검사가 즉시 잡아냈습니다. 앞으로 프롬프트나 모델이 바뀌어 채점이 슬쩍 부풀려지는 일이 생기면, 사람이 눈치채기 전에 이 검사가 막아줍니다. 초록불만 보고 안심하지 말고, 한 번은 일부러 부숴서 방어막이 진짜 작동하는지 확인해보세요.

마무리

지난 글에서 "AI에게 일을 시킨다는 건 내 판단 기준을 인수인계 문서로 만드는 일"이라고 썼는데, 이번 작업은 그 다음 문장이었습니다. "그 기준이 지켜지는지는 별도의 검사 장치가 재본다." 감으로 "잘 되는 것 같은데"가 아니라, 커맨드 한 번으로 골든셋 7문제가 다시 풀리고 회귀가 걸러지는 상태가 되니, 이제 기준을 고치는 게 무섭지 않습니다.

궁금한 점 있으면 댓글로 물어봐주세요!

사용 도구: Claude Code + 로나(rona.so) 실습 "내 기능에 평가 붙이기" + gpters-evals 플러그인 · 제작 시간: 약 반나절 · 결과: 평가 폴더 12파일 + 재실행 커맨드 /lead-prescreen-eval + 운영 규칙 3건 개선

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

김태현 프로필 이미지
김태현2026.07.24

코드로 검증하는 것은 없었나요? LLM에게 의존하는 것을 줄이는게 가장 Eval을 쉽게 하는 방법 같아서요

광밤 프로필 이미지
광밤2026.07.24

AI심판은 딱 1개만 담당하고, 나머지 4개의 검사는 모두 코드로 진행했어요:)

윤누리 프로필 이미지
윤누리2026.07.24

심판이 불합격시킨 이유가 "출처 없는 근거"였는데, 정작 그 근거들("이 회사엔 인재개발원이 있다" 같은 것)이 어디서 왔는지 궁금해서 물었습니다. 답은 검색이 아니라 AI의 사전학습 지식이었어요.

> 이 부분이 충격적이군요. 직접 안 물어봤으면 절대 몰랐을 .. ㅎㅎ
결과적으로 확정한 골든셋이 뭔지도 궁금합니다.

광밤 프로필 이미지
광밤2026.07.24

누리님은 이미 잘 아시겠지만, AI Eval(평가)를 첨 접하시는 분들을 위해서 (저도 AI의 도움을 받아) 최대한 쉽게 풀어 답변드립니다.

골든셋(정답을 미리 정해둔 문제집)은 7개입니다. AI가 그날 실제로 채점했던 기사 15건 중에서 7건을 골라, "이 기사는 이렇게 처리하는 게 정답이다"를 제가 직접 확정했어요.

문제는 크게 두 종류인데요.

- 점수 매긴 다음 처리를 잘했나? (5문제)

잘한 사례 3개와, 본문에 나온 잘못한 사례 2개(등록됐어야 할 리드가 조용히 사라진 것)를 함께 넣었습니다. 잘못한 사례를 일부러 넣은 이유는, 잘한 것만 모아두면 나중에 AI 설정을 고쳤다가 옛날 실수가 다시 생겨도 알아챌 방법이 없어서에요.

- 점수의 근거가 믿을 만한가? (2문제)

본문의 그 "인재개발원" 건도 "출처를 밝히고, 연락 전에 사람이 확인한다는 조건으로 인정"이라고 정답을 정해서 넣었습니다.

이제 기준이나 프롬프트를 고칠 때마다 이 7문제를 다시 풀게하고, 하나라도 틀리면 바로 알 수 있습니다. 운영하다 헷갈리는 사례가 나올 때마다 정답을 정해서 한 문제씩 늘려갈 예정이에요.

매주 일용한 로나 실습을 제공해 주셔서 고맙습니다:)

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기