본문으로 건너뛰기

LLM 평가, 읽어도 모르겠어서 게임으로 만들었습니다

광밤

2026.08.11

LLM 평가(AI Evals) 글, 읽을 때는 고개를 끄덕이는데 덮고 나면 하나도 안 남지 않나요? 저도 그랬어요. TPR/TNR, θ 보정, 신뢰구간… 눈으로는 세 번을 읽었는데 손에 잡히는 건 없었습니다. 그래서 방식을 바꿨어요. 읽는 대신, 게임으로 만들었습니다. 그랬더니 이틀 만에 개념 학습부터 실제 업무 파이프라인 적용까지 갔습니다. 그 과정을 공유합니다.

🎢 읽어서 안 되면, 만들어라

계기는 한 개발자의 학습법 글이었어요. 요지는 이렇습니다: AI에게 ① 주제의 지식 베이스를 만들게 하고 → ② 그 지식이 정확한지 검증시키고 → ③ 개념을 게임 오브젝트에 매핑한 시뮬레이션을 만들고 → ④ 배포한 뒤 → ⑤ 퀴즈로 각인시킨다. "만드는 과정 자체가 학습"이라는 거죠.

마침 제대로 이해하고 싶은 주제가 있었습니다. 《Evals for AI Engineers》 기반의 LLM 평가 방법론이요. Claude Code에 이렇게 요청했습니다.

"이런 학습론(링크)을 적용해서 아래의 내용을 제대로 이해하고 싶어. (AI Eval 학습 페이지 링크) 구현할 수 있도록 계획부터 세워 주겠니?"

AI가 6단계 계획을 세워 왔고, 저는 세 가지만 결정했어요. 형태는 2D 시뮬레이션, 범위는 실전 적용까지, 배포는 Vercel. 계획은 AI가 짜고 사람은 방향만 고르는 것, 이게 첫 번째 포인트입니다.

⚔️ AI가 쓴 지식을 다른 AI가 공격하게 했어요

1단계는 지식 베이스 만들기. AI 에이전트 하나가 원문을 읽고 11단계 흐름을 문서로 정리했습니다. 여기서 중요한 건 2단계였어요. 다른 에이전트를 "적대적 팩트체커"로 붙여서 그 문서를 원문과 대조하며 공격하게 했습니다.

실제로 걸린 게 있었어요. 원문 페이지는 실패율 기준(겉보기 21% → 참값 11%)으로, 플러그인 문서는 통과율 기준(0.80 → 0.85)으로 θ 보정을 설명하는데, 언뜻 보면 서로 다른 수식 같거든요. 검증 에이전트가 둘 다 수치로 재현해서 "같은 수식, 양성 클래스만 뒤집힌 것"임을 확인했습니다. 읽기만 했다면 그냥 넘어갔거나, 둘 중 하나를 오류로 착각했을 부분이에요.

🎯 제일 안 잡히는 개념을 게임의 중심에 놓았어요

게임을 설계할 때 AI가 물었습니다. "11단계 중 뭐가 제일 낯설어요?" 저는 TPR/TNR·θ 보정·신뢰구간이라고 답했고, AI는 그 개념을 7개 스테이션 중 가장 비중 있는 스테이션으로 만들었어요.

그렇게 나온 게 EvalTycoon입니다. 가상 항공사 "로나에어"의 고객센터 봇을 구하는 시나리오로, 트레이스 수집 → 에러 분석 → 심판 제작 → 검증 → CI 게이트 → 보스전 퀴즈까지 책의 흐름 그대로 7개 스테이션을 통과합니다.

👉 직접 해보실 수 있어요: https://eval-tycoon.vercel.app

백미는 검증기 스테이션이었어요. 라벨 수를 슬라이더로 늘리면 신뢰구간이 실시간으로 좁아지는 걸 보는데, 그 순간 "아, 라벨 100개와 500개의 차이가 이거구나"가 수식이 아니라 감각으로 들어왔습니다. 읽기만 했다면 흐려졌을 개념이 손에 잡힌 순간이에요.

🔥 진짜 시험대: 실제 업무에 적용하기

이해했다는 착각인지 진짜 이해인지는 실전에서 갈리죠. 마침 저희 팀에는 B2B 제안서를 자동 생성하는 파이프라인이 있는데, 그 안에 "상담 메모를 AI가 구조화된 데이터로 바꾸는" LLM 지점이 있습니다. 여기에 배운 걸 그대로 적용했어요.

책의 절차대로 먼저 "좋은 출력" 기준 3줄을 합의했습니다.

  1. 원문의 숫자·사실이 변형 없이 옮겨졌다

  2. 원문에 없는 값은 그럴듯하게 채우지 않았다 (날조 0건)

  3. 핵심 요약이 원문 발언에 근거한다

그리고 테스트 데이터를 설계했어요. 무작정 만드는 게 아니라, 실패가 나올 만한 곳을 겨냥해서 3개 축(정보 누락/충돌/암시 × 메모 형태 × 숫자 표현 함정)으로 27가지 조합을 짜고, AI 에이전트 둘이 병렬로 가상 상담 메모를 작성했습니다. 실제 딜 데이터 2건을 더해 총 29건을 실제 파이프라인에 통과시켜 트레이스를 만들었어요.

😱 예상 못 한 충격

여기서 이번 프로젝트 최대 반전이 나옵니다. 이 파이프라인에는 이미 형식 검사기(스키마 검증)가 있거든요. 필수 필드가 다 있는지, 형식이 맞는지 코드가 확인합니다. 그런데 정보를 일부러 빼거나 모순되게 만든 트레이스 29건이 전부 형식 검사를 통과했어요.

원문에 교육 일수가 한 번도 안 나오는 메모였는데, 결과물에는 "4일"이 그럴듯한 근거와 함께 확정돼 있었습니다. 형식은 완벽하죠. 내용이 날조인 걸 형식 검사는 영원히 못 잡는 겁니다. 게임에서 배운 "코드로 잡을 수 있는 것과 사람/심판이 잡아야 하는 것의 분기"가 실제 데이터로 눈앞에 나타난 순간이었어요.

지금은 29건을 직접 읽고 Pass/Fail을 매기는 단계입니다. AI가 라벨링 전용 화면(원문과 결과 대조 + 단축키 판정 + 자동 저장)까지 만들어줘서, 저는 판정만 하면 됩니다. 이 라벨이 쌓이면 LLM 심판을 만들고, 게임에서 배운 TPR/TNR·θ 보정으로 그 심판을 검증할 예정이에요.

📊 결과

  • 학습 방식: 글 3회 정독, 덮으면 증발 → 게임 1회 구현+플레이로 체득

  • 소요 시간: 수 주를 읽어도 안 잡힘 → 이틀 (학습→배포→실전 착수)

  • θ 보정·신뢰구간: 수식으로만 인지 → 슬라이더로 체감, 실전 적용 예정

  • 실무 파이프라인: 형식 검사만 존재 → 의미 검증 eval 하네스 구축 중

숫자보다 큰 변화는 이거예요. 이제 LLM이 들어간 업무 어디를 봐도 "여기 트레이스는 어디 있지? 좋다의 기준은 뭐지?"가 먼저 떠오릅니다. 개념이 지식이 아니라 렌즈가 됐어요.

💡 AI 활용 팁!

따라 하실 분께 딱 하나만 꼽자면: 전부 만들지 말고, 제일 안 잡히는 개념 하나를 게임의 중심으로 삼으세요. 저는 θ 보정이 제일 어려워서 검증기 스테이션에 비중을 몰았고, 그게 학습 효율을 결정했습니다.

주의할 점도 솔직하게: AI가 만든 지식 베이스를 검증 없이 게임으로 만들면 틀린 개념이 그대로 각인됩니다. 적대적 검증 단계를 생략하지 마세요.

이 방식은 LLM 평가 말고도 통합니다. 재무제표 읽는 법, 통계 개념, 새 프레임워크… "읽어도 안 잡히는" 모든 주제에 적용해 보세요.

바로 쓸 수 있는 프롬프트

이 학습론을 적용해서 [배우고 싶은 주제/링크]를 제대로 이해하고 싶어:
① 주제의 지식 베이스를 문서로 만들고 ② 별도 에이전트가 원문과 대조해 적대적으로 검증하고 ③ 개념을 게임 오브젝트에 매핑한 2D 시뮬레이션을 만들고 ④ 배포한 뒤 ⑤ 퀴즈로 마무리한다.계획부터 세워줘. 참고로 내가 제일 이해 안 되는 개념은 [개념]이야 — 이 부분을 게임에서 가장 비중 있게 다뤄줘.

[배우고 싶은 주제]와 [개념]은 본인 상황에 맞게 변경하세요.

12

함께 이야기해요 12

로그인하고 댓글을 남겨 주세요

박준_JoonLab 프로필 이미지
박준_JoonLab2026.08.19

이 글에서 제일 반가웠던 건 지식 베이스를 만든 에이전트와 별개로 적대적 팩트체커를 붙여 원문과 대조하게 하신 단계였습니다. 실패율 기준과 통과율 기준을 둘 다 수치로 재현해 '같은 수식, 양성 클래스만 뒤집힌 것'임을 확인한 대목이 특히 인상 깊었습니다.

이제 라벨을 쌓아 LLM 심판을 만들고 θ 보정으로 검증하시는 단계인데요, 관건은 그 심판을 재는 기준자인 라벨이 한 사람의 1회 판정이라는 점일 것 같습니다. TPR/TNR은 그 라벨을 정답으로 두고 계산되니, 라벨이 흔들리면 그게 심판 성능의 상한이 되어버리거든요.

예를 들어, 29건을 다 매기신 뒤에 다섯 건만 며칠 지나 다시 판정해서 본인 판정끼리 얼마나 일치하는지 먼저 재두시면, 심판 점수가 낮을 때 심판 문제인지 기준 문제인지를 가를 수 있을 것 같습니다. 저도 시험 문항을 대량 생산하는 하네스에 게이트를 28종까지 세웠는데, 제일 중요했던 건 생성한 모델이 자기 산출물을 검증하지 못하게 막아둔 것이었습니다.

사례 공유 감사드립니다:)

광밤 프로필 이미지
광밤2026.08.21

쭌~~~~ 여기까지 와서 피드백을 주고 가다니!!! 감동이에요🫢 😭

마이네임코드 프로필 이미지

좋은 글인거 같은데.. 누군가에게 저의 언어로 설명할 수 있을 정도로 이해는 못하고 있습니다. 아직 제 실력이 되지 않네요. 감사합니다.

머리로는 부족하니, 예시로 주신 프롬프트로 경험해보겠습니다.

광밤 프로필 이미지
광밤2026.08.21

마네코님:) 프롬프트로 경험하신 내용 공유 좀 해주세요~~~

아니다! 사례글로 ㅎㅎ🫡

윤누리 프로필 이미지
윤누리2026.08.14

현철님, 저도 태현님께서 공유해주신 아티클을 보고 - 이걸 클로드코드에게 준 다음에 어려운 AI 개념을 시각화해서 만들어달라고 하니까, 만들어주긴 했는데 거의 텍스트 학습지 같은 느낌이라 아쉽긴 하더라고요.

아티클의 예시로 소개된 chiptycoon(링크)의 경우 설명하는 개념 자체가 플랜트이기도 하고 해서 더 시각화가 잘 되어 있다는 느낌을 받았어요. 현철님께서 만들어주신 게임 형태 & 텍스트가 줄어든 직관적인 시각화 -> 이 방식으로 계속 디벨롭을 해봐야겠습니다.

광밤 프로필 이미지
광밤2026.08.21

누리님, 항상 응원합니다📸 🤩

Giacomo 프로필 이미지
Giacomo2026.08.14

eval 타이쿤이라니 ㄷㄷㄷ 잘읽었습니다 🙂

광밤 프로필 이미지
광밤2026.08.14

앗! 지-아-코-모 님이다😱 이런 곳까지 행차해주시다니... 감동입니다😭 🫠

박승현 프로필 이미지
박승현2026.08.13

아 진짜 좋은 글인데 이걸 어떻게 하면 다른 사람들도 읽게 할 수 있을까요 ㅎㅎ

광밤 프로필 이미지
광밤2026.08.14

이미 박승현 스터디장님이 많이 공유해주고 계시는 것 같은데욥?? ㅎㅎ

이 글에서 영감을 받아서 최근에 만들고 계시는 게임이 기대됩니다. 완성하면 꼭 알려주세요😍

박승현 프로필 이미지
박승현2026.08.11

이건 꼭 직접 해보겠습니다!잘읽었습니다.

광밤 프로필 이미지
광밤2026.08.11

영광입니다!!🙏🏻🥷

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기