AI Eval을 처음 접하면 어렵게 느껴집니다. Dataset, Trace, Score 같은 용어부터 나오고, 평가 결과를 어디에 어떻게 기록해야 할지도 막막해요.
저도 처음에는 Langfuse부터 도입하려고 했습니다. 그런데 도구를 연결하기 전에 먼저 필 요한 것이 있었어요. 이력서 검토 업무에 맞는 평가 화면과, 나중에 여러 사람이 함께 쓸 수 있는 데이터 구조였습니다.
1단계 — 평가 순서를 웹 인터페이스로 만들었습니다
제가 확인하고 싶었던 것은 이력서 검토 AI가 정말 명백한 부적격자만 골라내는지였습니다. AI 판정을 먼저 보면 사람의 판단이 끌려갈 수 있어서, 평가 순서를 화면으로 고정했어요.
원본 이력과 평가 지침만 보고 내가 먼저 판정하게 해줘.
그다음 AI 판정을 공개하고, 둘을 비교해 최종 판정을 내릴 수 있게 해줘.웹 인터페이스에서는 다음 순서로만 평가가 진행됩니다.
- 원본 이력과 평가 지침 확인
- 사람의 최초 판정과 근거 저장
- AI 판정과 근거 공개
- 두 판정을 비교해 최종 판정
- 평가 기준을 고칠 메모 기록
사람의 최초 판정을 저장하기 전에는 AI의 판정, 색상, 신뢰도와 근거를 보여주지 않았습니다. 단순히 보기 좋은 대시보드를 만든 것이 아니라, 평가 절차 자체를 인터페이스로 만든 셈입니다.
2단계 — 평가 결과를 구조화된 데이터로 남겼습니다
화면에서 평가만 하고 끝내면 다음 개선에 쓰기 어렵습니다. 사람의 최초 판정, AI 판정, 최종 판정, 확신도, 근거, 적용한 기준의 버전과 개선 메모를 같은 JSON 구조로 저장했어요.
이렇게 저장하면 여러 사람이 각자 검토한 결과도 하나로 합칠 수 있습니다. 누가 어떤 기준으로 판단했는지 비교하고, 사람과 AI가 자주 다르게 판단하는 사례만 다시 모아볼 수도 있어요.
개인정보는 별도로 다뤘습니다. 이름, 연락처와 이력서 원문은 접근이 제한된 로컬 저장소에 두고, 통합할 데이터에는 가명 ID, 구조화된 판정과 필요한 근거만 남기는 방식입니다.
3단계 — Langfuse에서 다시 쓸 수 있게 연결점을 맞췄습니다
구조화한 결과는 나중에 Langfuse로 옮길 수 있게 설계했습니다.
- 고정한 20명 사례는 Dataset
- 이력서 검토를 한 번 실행한 기록은 Trace
- 사람의 최초 판정, AI 판정과 최종 판정은 Score
- 여러 평가자의 검토는 Annotation Queue와 평가자 메타데이터
이 구조가 있으면 같은 20명으로 prompt, 모델이나 평가 기준을 바꿔 다시 실험할 수 있습니다. 여러 사람이 수집한 평가도 같은 기준으로 모아 비교할 수 있고요. 평가 데이터가 다음 버전의 기준을 만드는 재료가 됩니다.
Langfuse가 평가 기준을 대신 정해주는 것은 아닙니다. 먼저 내가 반복해서 판단할 수 있는 화면과 데이터 구조를 만들고, Langfuse는 그 결과를 모아 비교하고 재활용하는 통합 계층으로 쓰는 편이 맞았습니다. 자세한 개념은 Langfuse Evaluation 문서에서 확인할 수 있습니다.
해보면서 알게 된 점
중간에는 브라우저 주소와 저장 키가 바뀌면서 입력이 사라진 것처럼 보이는 문제도 있었습니다. 데이터는 남아 있었지만 새 화면이 이전 저장 위치를 읽지 못했어요.
이 문제를 겪고 나니 평가 결과를 화면 안에만 저장해서는 안 된다는 점이 분명해졌습니다. 자동 저장과 함께 JSON 내보내기, 저장 형식의 버전, 이전 데이터 이관 규칙까지 있어야 여러 사람이 오래 사용할 수 있어요.
AI 활용 팁!
AI Eval을 시작할 때 거대한 평가 시스템부터 만들 필요는 없습니다. 먼저 내가 반복해서 판단하는 업무 하나를 고르고, 그 판단 순서를 작은 웹 인터페이스로 만들어보세요.
중요한 것은 세 가지입니다.
- 사람의 판정을 AI 결과보다 먼저 기록할 것
- 판정뿐 아니라 근거와 기준 버전도 구조화할 것
- 개인정보와 통합 분석용 데이터를 분리할 것
이 세 가지가 갖춰지면 작은 리뷰 화면도 팀이 함께 쓰는 평가 시스템의 시작점이 됩니다.
바로 쓸 수 있는 프롬프트
내가 반복해서 판단하는 [업무]를 위한 리뷰 웹 인터페이스를 만들어줘. 먼저 [원본 자료]와 [평가 기준]만 보여주고, 사람의 최초 판정과 근거를 저장한 뒤에만 AI 판정과 근거를 공개해줘. 두 결과를 비교해 최종 판정과 기준 개선 메모를 남길 수 있게 하고, 결과는 여러 사람이 합칠 수 있는 JSON으로 내보내줘. 개인정보 원문과 통합 분석용 데이터는 분리하고, 평가 기준과 데이터 형식의 버전도 함께 기록해줘.
