본문으로 건너뛰기

AI Evals 책을 AI와 같이 읽으며 알게 된 것: 좋은 학습법도 설득이 필요해요

김태현

2026.06.28

ai 평가 포스터

메타 설명: AI Evals 책을 번역하고, PDF로 읽고, Rona와 학습법을 설계하고, 실제 독서 중 AI에게 질문하며 배운 AI 활용 사례입니다.

AI Evals 책을 읽으려고 처음 한 일은 단순했습니다. 원문을 마크다운으로 받아서, 5일 동안 읽을 수 있게 한국어로 번역해 두는 것이었어요. 그런데 며칠 지나고 보니 이 작업은 단순한 번역 프로젝트가 아니었습니다.

책을 읽기 위한 자료를 만들고, 더 나은 학습법을 Rona와 상의하고, 실제로는 그 좋은 학습법을 꽤 많이 무시하고, 결국 제 방식대로 읽으면서 AI에게 질문했습니다. 그 과정에서 Rona가 사용자에게 더 나은 AI 활용법을 제안할 때 무엇을 조심해야 하는지 꽤 중요한 힌트를 얻었습니다.


1단계: 먼저 읽을 수 있는 형태로 만들었어요

처음 요청은 이랬습니다.

AI Evals 책을 5일에 걸쳐서 읽으려 해. 원문을 한글로 번역해 주고, 번역 전에 AI Evals 용어집을 먼저 만들어줘. 정확히 분량으로 5개로 쪼개지 말고 챕터 단위에서 잘라줘.

Codex는 ai-eval-book/에 있던 원문 텍스트를 읽고, ai-eval-book-trans/ 폴더에 용어집과 5개 번역 파일을 만들었습니다. 중간 번역은 서브에이전트를 써서 빠르게 병렬로 진행했어요.

결과물은 이런 식이었습니다.

00_glossary.md 01_day1_preface_ch01_ch02.md 02_day2_ch03_ch04.md 03_day3_ch05.md 04_day4_ch06_ch07_ch08.md 05_day5_ch09_ch10_ch11_ch12.md

그런데 실제로 제가 읽은 것은 이 마크다운 번역본만은 아니었습니다. 누리님이 전체 내용을 PDF로 예쁘게 번역해서 책처럼 만들어 주셨거든요. 누리님의 번역 과정은 Threads 게시글에도 정리되어 있습니다.

'웰컴 투 코리아'라는 문구가 적힌 페이지

EvalsForAI_KO_book.pdf를 열어 보니 가독성이 훨씬 좋았습니다. 프론트엔드 디자인 스킬을 써서 만든 느낌이었고, 그냥 번역된 텍스트 파일보다 훨씬 책처럼 읽혔어요.

여기서 첫 번째로 배운 점은 단순했습니다. 학습 자료는 내용만 맞으면 끝이 아니었습니다. 읽고 싶게 만들어진 형태가 중요했습니다. 같은 번역이라도 예쁜 PDF는 진입 장벽을 낮췄습니다.


2단계: Rona와 더 좋은 학습법을 상의했어요

원래 제 학습 방식은 익숙했습니다. 먼저 책을 쭉 읽으면서 요약합니다. 전체 구조를 파악한 다음, 실제로 응용해 보다가 더 자세한 내용이 필요하면 책으로 돌아갑니다.

이번에도 그렇게 하려고 했습니다. 그런데 Rona와 상의하면서 다른 방식이 나왔어요. 핵심은 이 책을 그냥 읽는 것이 아니라, Rona의 AI 활용법 생성 기능을 평가하는 데 바로 써먹자는 것이었습니다.

제가 다루려던 제품 맥락은 이랬습니다.

사용자가 하려는 일을 입력하면, Rona가 그 업무에 맞는 더 좋은 최신 AI 활용 방법론과 실행 방안을 제안한다.

그래서 학습 계획은 단순 요약이 아니라 다음 산출물을 만드는 방향으로 바뀌었습니다.

학습 산출물

의미

Rona 기능의 성공 기준

좋은 답변을 어떻게 판단할지

좋은 응답 조건

업무 이해, 방법론 적합성, 최신성, 실행 가능성, 구체성, 안전성

나쁜 응답 신호

그럴듯하지만 실제 행동으로 이어지지 않는 패턴

실패 모드 taxonomy

답변이 실패하는 유형

Pass/Fail 루브릭

PM이 샘플을 보고 판단할 기준

논리적으로는 꽤 좋은 방식이었습니다. 어차피 AI Evals를 공부하는 이유가 Rona 기능을 더 잘 만들고 평가하기 위해서라면, 매 챕터를 Rona에 적용해 보면서 읽는 것이 맞았습니다.


3단계: MIT 학생의 context stacking 방식도 붙여 봤어요

여기에 최근에 본 MIT 학생의 수업 준비 방식도 적용해 보고 싶었습니다. 제가 정리한 이름은 context stacking이었습니다.

핵심은 수업이나 독서 전에 AI에게 요약을 시키는 것이 아니었습니다. 먼저 관련 자료를 한 컨텍스트에 쌓고, 다음 질문을 던지는 방식이었습니다. 이렇게 매번 학습을 준비하면, 한 학기동안에 총 90분의 준비 시간 + 강의 시간만으로도 모든 것을 이해하게 된다는 거였어요.

  1. 지난 수업과 이번 수업은 어떻게 연결되는가?

  2. 배경 지식이 없는 사람에게 가르치려면 무엇을 진짜로 이해해야 하는가?

  3. 표면적으로만 이해한 사람을 드러내는 질문은 무엇인가?

이 방식은 좋아 보였습니다. 책을 읽고 나서 요약하는 것이 아니라, 읽기 전에 개념 지도를 만들고, 읽는 동안 그 지도가 맞는지 검증하는 방식이니까요.

그래서 contaxt-stacking-learning.md와 AI_LEARNING_PLAN.md를 만들었습니다. 계획은 꽤 정교했습니다. 각 회차마다 Rona 기능 설명, 이전 산출물, 오늘 읽을 장, 대표 사용자 요청, 좋은 응답 조건, 나쁜 응답 신호를 넣고 시작하도록 되어 있었습니다.


그런데 실제로는 제 방식대로 읽었어요

문제는 그다음이었습니다. 막상 책을 읽기 시작하니 저는 Rona가 제안한 방식을 거의 그대로 따르지 않았습니다.

제가 실제로 한 방식은 원래 하던 방식에 가까웠습니다.

  1. 먼저 찬찬히 읽는다.

  2. 모든 책의 내용을 나중에 다시 봐도 기억날 수준으로 핵심 요약한다.

  3. 잘 이해되지 않는 개념이나 수식이 나오면 멈춘다.

  4. AI에게 그 부분을 쉽게 설명해 달라고 묻는다.

  5. 필요한 경우 원문이나 번역본의 해당 대목을 다시 보며 이해를 보강한다.

예를 들면 이런 질문을 계속 했습니다.

코헨 카파 계산 방법이 잘 이해되지 않아. 더 쉽게 설명해줘.

Pe - 기대 일치도 개념이 이해하기 어려워.

95% 신뢰 구간이라는 것이 어떤 의미인지 쉽게 설명해주고 어떻게 측정하는지 쉽게 설명해줘.

이 과정은 제게 훨씬 편했습니다. 누가 보기에는 덜 체계적일 수 있지만, 저는 먼저 읽고 싶었습니다. 전체 내용을 제 언어로 요약하면서 머릿속에 넣고, 잘 이해되지 않는 부분만 AI에게 물어보는 흐름이 자연스러웠습니다.

여기서 Rona 사용에 대한 중요한 인사이트가 나왔습니다.

좋은 방법을 제안한다고 해서 사용자가 그 방법을 따라 하지는 않습니다. 기존 방식이 주는 편안함이 너무 큽니다. 특히 학습처럼 개인의 리듬이 강한 영역에서는 더 그렇습니다.


Rona가 설득해야 할 것은 "방법"이 아니라 "전환"이었어요

Rona가 제안한 방식은 틀리지 않았습니다. 오히려 목표에는 더 잘 맞았습니다. AI Evals를 Rona 기능 평가에 적용하려면, 그냥 요약하는 것보다 매 챕터를 Rona의 평가 기준으로 바꾸는 게 맞습니다.

그런데 저는 거부감이 들었습니다. 이유는 그 방법이 나빠서가 아니었습니다.

이미 제가 하던 방식이 있었기 때문입니다. 먼저 읽고, 전체를 잡고, 나중에 다시 봐도 기억날 정도로 핵심을 요약하는 방식이 편했습니다. 게다가 당시에는 Rona 평가를 위한 세부 사항이 아직 충분히 정해져 있지 않았습니다. Rona가 제안한 방식대로 하려면 책을 읽는 것과 동시에, 아직 정해지지 않은 평가 대상과 기준을 계속 구체화해야 했습니다.

그 일이 필요하다는 건 알았지만, 그걸 지금 하고 싶지는 않았습니다. 저는 당장 책을 읽고 싶었고, Rona 평가 체계를 세부적으로 정의하는 일은 별도의 기획 작업처럼 느껴졌습니다. 그래서 좋은 방식이라는 논리적 설득만으로는 제 행동이 바뀌지 않았습니다.

이건 Rona가 풀어야 할 문제와 아주 비슷합니다. Rona는 사용자에게 "더 좋은 AI 활용법"을 제안하는 제품입니다. 그런데 사용자는 이미 자기 방식이 있습니다. 그 방식이 비효율적이어도 익숙합니다. 그러면 Rona는 단순히 더 좋은 방법을 말하는 것으로는 부족합니다.

Rona는 이렇게 말할 수 있어야 합니다.

지금 하시는 방식을 버리지 않아도 됩니다. 먼저 평소처럼 읽으세요. 대신 각 장을 다 읽은 뒤 마지막 10분만, 이 장이 Rona 평가 기준에 어떤 영향을 주는지 한 줄로 남겨봅시다.

이 정도라면 저는 훨씬 덜 거부감을 느꼈을 것 같습니다. 완전히 새로운 학습법이 아니라, 기존 방식에 작은 변주를 더하는 제안이니까요.


읽으면서는 그림과 수식도 계속 보강했어요

번역본에는 LaTeX 수식의 원래 소스 코드가 남아 있었고, 원문 책의 그림은 포함되어 있지 않았습니다. 그래서 책을 읽다가 필요한 그림을 원본에서 캡처해서 번역본에 넣었습니다.

그림 6-1이여. 본문에 넣어줘. 첨부 그림은 7-2 그림이야. 본문에 넣어줘. 그림 8-3이야. 파일로 저장하고 8장 번역본에 적절한 위치에 넣어줘.

검색 품질 메트릭 부분에서는 LaTeX 수식을 이미지로 바꾸기도 했습니다. MRR, Precision/Recall@k 같은 식은 코드로 남아 있는 것보다 이미지로 보이는 편이 읽기 좋았습니다.

이 작업을 하면서 나중에 누리님이 만든 PDF 번역본에도 이 그림과 수식 이미지를 추가하면 좋겠다는 생각을 했습니다. 지금은 마크다운 번역본에 들어가 있지만, 실제로 읽는 자료가 PDF라면 최종본도 PDF 쪽이 업데이트되어야 하니까요.


결과

항목

Before

After

읽을 자료

원문 텍스트와 마크다운 번역 필요

5일치 번역본, 용어집, PDF 번역본 확보

학습 계획

챕터 순서대로 읽고 요약

Rona 기능 평가에 연결하는 PM용 계획 작성

실제 독서

혼자 읽다가 막히면 검색

핵심 요약을 직접 만들고, 이해 안 되는 부분을 AI에게 질문

시각 자료

번역본에 그림 없음

원문 캡처 그림과 수식 이미지 추가

제품 인사이트

좋은 학습법을 제안하면 쓰겠지

사용자는 기존 방식에서 크게 벗어나기 싫어함

가장 큰 결과는 번역본이나 이미지 보강보다, Rona의 제안 방식에 대한 감각이 생긴 것이었습니다. "더 좋은 방법"은 그 자체로 충분하지 않았습니다. 사용자가 이미 하고 있는 방식과 어떻게 이어지는지, 얼마나 작은 변화부터 시작할 수 있는지, 왜 이 변화가 충분히 좋은지 설득해야 했습니다.


AI 활용 팁

책을 AI와 같이 읽을 때 처음부터 거창한 학습 시스템을 만들 필요는 없었습니다. 오히려 제가 실제로 잘 쓴 방식은 더 단순했습니다.

  1. 먼저 읽고 싶은 방식으로 읽습니다.

  2. 이해되지 않는 부분을 그대로 질문합니다.

  3. AI 답변을 책 내용과 다시 대조합니다.

  4. 수식, 그림, 용어처럼 읽기를 방해하는 마찰을 바로 제거합니다.

  5. 마지막에 "이 장을 내 실제 업무에 적용하면 무엇이 달라지나"만 남깁니다.

Rona 같은 제품이 해야 할 제안도 이와 비슷할 것 같습니다. 사용자에게 완전히 새로운 워크플로우를 강요하기보다, 지금 하는 방식 안에 AI가 들어갈 작은 자리를 찾아줘야 합니다.

바로 쓸 수 있는 프롬프트

나는 [책/자료명]을 읽고 있다.
내 기존 학습 방식은 먼저 쭉 읽고, 막히는 부분을 질문하고, 나중에 업무에 적용하는 방식이다.
이 방식을 크게 바꾸지 말고, AI를 더 잘 활용할 수 있게 작은 변주 3가지만 제안해줘.
각 제안은 10분 안에 실행할 수 있어야 하고,
내가 이 방법을 왜 써야 하는지 설득 문장도 같이 써줘.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기