예측 모델 채점 가이드: 정답지 오염 방지와 데이터 검증
2026.08.12
정답지 없이 예측 모델 성적 채점한 이야기
검수의 기본은 잘 만든 정답지에 결과물을 대보는 건데, 내 경우엔 정답지를 만드는 것 자체가 정답을 오염시키는 문제에 부딪혔다.
실제 서비스로 돌아가는 예측 모델의 성적표가 나왔는데, 이 숫자가 진짜 실력인지 아니면 과거를 유리하게 짜맞춘 착시인지 알 수가 없었다. 과거 어느 시점 성적을 다시 채점하려면 "그때 보이던 데이터"로 정답지를 만들어야 하는데, 오늘 만들면 오늘 데이터가 섞여 들어간다.
왜 섞이냐면 — 이 거래 데이터에는 "각 거래가 언제 신고돼 들어왔는지"가 안 남아 있다. 부동산 거래는 계약하고 몇 주~몇 달 뒤에 신고되기도 하는데, 데이터엔 계약일만 있고 신고 시점이 없다. 그래서 오늘 데이터를 봐도 "그때 실제로 보이던 것"과 "그 후에 뒤늦게 들어온 것"을 구분할 수가 없다. 실제로 어느 달을 보니 그날 보이던 건 2만 5천 건인데 오늘 같은 달을 보면 5만 건, 즉 절반이 나중에 신고돼 쌓인 것이었다. 시간을 못 되돌리는 게 아니라, 되돌릴 단서가 데이터에 없는 거다.
이 사례는 그래서 "정답지를 만들 수 없을 때 어떻게 채점했나"에 대한 기록이다.
활용한 도구와 방법
Claude Code — 채점 방식 설계, 대조 스크립트 작성.
Codex (다른 회사 AI) — 실제 재현·검증을 맡김. 일부러 다른 AI한테 시켰다. 만든 쪽과 채점하는 쪽이 같으면 같은 착각을 공유하니까.
그 시점에 저장돼 있던 결과물 — 오늘 다시 만든 게 아니라 그날 진짜 있던 값. 이게 채점 기준.
진행 세부 내용
1️⃣ 정답을 "만들지" 않고, 그날 "남아 있던 것"을 정답으로 쓰기
정답지를 오늘 다시 만들면 오늘 데이터가 섞인다. 그래서 발상을 뒤집음. 새로 만들지 말고, 그 시점에 실제로 만들어져 저장돼 있던 결과물을 그대로 정답으로 고정.
2️⃣ 그 정답이 맞는건지부터 보기
채점 기준이 오염됐으면 그 위 채점은 다 헛것이다. 그래서 정답으로 쓸 결과물부터 검사했더니 — 하루 차이 나는 두 파일 중 하나가 데이터가 확 적고, 빠진 부분이 특정 지역에 몰려 있었다. 저장될 때 일부만 내려받아진 손상 파일이었다. 정답 자격 박탈..
3️⃣ 정답 vs 다시 만든 걸 세 가지로 대봄
그날 진짜 결과물과 오늘 다시 만든 걸 나란히 놓고: ①같은 대상을 다루나 ②겹치는 것끼리 값이 같나 ③평균 얼마나 벌어지나.
4️⃣ 짐작을 확인
다시 만든 결과는 그날 진짜 결과 대비 다루는 대상의 약 10%가 어긋났고, 겹치는 것조차 값이 같은 건 절반뿐이었다. "좀 유리하게 나왔겠지" 하던 짐작이 "이만큼 어긋난다"는 숫자로 바뀌었다.
5️⃣ 채점한 AI가 자기 결과를 포장하지 않음
다른 시점으로 한 번 더 했더니 예상과 다르게 더 크게 어긋났는데, 채점 맡은 다른 AI가 "이거 예상과 다른데요" 하고 스스로 짚었다. 다시 만드는 과정에서 최신 데이터를 당겨 쓴 게 원인이었다. 다른 AI한테 채점을 맡긴 이유가 여기서 증명됐다.
시행착오와 배운 점
정답을 다시 만들려던 게 제일 큰 함정. "과거 성적 재보자"며 정답을 오늘 다시 만들면, 그 과정에 오늘 데이터가 섞여서 착시를 재려다 새 착시를 들이는 꼴이 된다. "다시 만든 정답" 말고 "그날 남아 있던 것"으로 방향 튼 게 핵심이었다.
정답부터 의심해야 "그날 결과물이니 당연히 정답이겠지" 했는데 손상돼 있었다. 기준이 깨져 있으면 채점 전체가 거짓이 된다.
잴 수 있는 것과 없는 걸 억지로 합치지 않기 "입력이 얼마나 어긋나나"는 깨끗이 나왔지만, 그게 최종 성적을 몇 점 바꾸는지는 정답지 자체가 덜 정확해서 확정 못 했다. 확실한 것만 확정하고 나머지는 "방향만 참고"로 뒀다.
향후 계획
이번에 부딪힌 근본 문제인 "과거를 못 되살린다" 를 앞으로 어떻게 막을지가 핵심이다.
결과물을 그때그때 저장해두기 (제일 중요). 과거를 되살릴 수 없는 이유는 그 시점 데이터를 안 남겨놔서다. 그러니 앞으로 만들어지는 결과물을 매번 자동으로 보존해두면, 나중에 재현할 필요 없이 그걸 바로 정답으로 쓸 수 있다. 지금은 한 시점만 정답이 있어서 "한 점짜리 측정"인데, 계속 쌓이면 "여러 시점에 걸친 측정"이 된다.
데이터에 "신고 시점"을 따로 기록하는 것 검토. 근본 원인이 "언제 들어온 거래인지 데이터에 없다"는 거니까, 앞으로 수집할 때 거래가 들어온 날짜를 같이 남겨두면 나중엔 "그 시점에 보이던 것만" 걸러낼 수 있다. 그러면 과거 재현이 원리적으로 가능해진다.
이 대조 방식을 검수 체크리스트로 정리. ①정답이 멀쩡한지 확인 → ②세 가지로 채점 → ③잴 수 있는 것/없는 것 나눠 표기. 다음에 다른 모델·다른 시점에도 그대로 재사용.
도움이 필요한 점
"그때 보이던 데이터"를 되살릴 수 없는 상황에서, 착시를 어디까지 "쟀다"고 인정할 수 있을지. 지금은 입력이 어긋나는 정도만 확정하고 최종 성적 편향은 방향만 봤는데, 이 경계를 긋는 더 나은 기준이 있을지 궁금하다.




"정답지를 새로 만들지 않고, 그날 저장돼 있던 걸 정답으로 쓴다" — 이 방향 전환이 글 전체에서 제일 인상 깊었어요. 오늘 다시 만들면 오늘 데이터가 섞인다는 걸 인식하고 발상을 뒤집은 게 핵심이었던 거잖아요.
거기서 끝나지 않고 그 정답지부터 먼저 의심했더니 특정 지역 쏠림 손상 파일이 나왔다는 부분도 좋았어요. "기준이 깨져 있으면 채점 전체가 거짓"이라는 문장, 실제로 겪어봐야 이렇게 쓸 수 있거든요.
채점을 만든 AI가 아닌 다른 AI에게 맡긴 이유 — "같은 착각을 공유하지 않도록" — 도 실무적인 포인트예요. 그 AI가 "예상과 다른데요" 하고 스스로 짚은 장면에서 선택이 옳았다는 게 증명됐고요.
앞으로 결과물을 그때그때 저장해두는 구조를 만들겠다는 향후 계획까지, 문제 → 실험 → 교훈 → 다음 행동으로 깔끔하게 이어지는 글이었어요. 꼬리 탁! 치고 응원하고 갈게요 🐈⬛