본문으로 건너뛰기

내가 만든 테스트는 내 규칙을 통과하도록 만들어진다

유피테르

2026.07.27

한 줄 요약

반복 업무 하나를 Skill로 만들고 직접 만든 샘플 데이터로 검증했더니 전부 통과했습니다. 그런데 실제 파일 하나를 넣자 오류 3개가 한꺼번에 나왔습니다. 내가 만든 테스트 데이터는 내가 아는 함정만 담고 있었습니다.

시작 전 상태

가계부에 카드 명세서를 입력하는 일을 매달 반복합니다. 규칙은 이미 문서로 정리해뒀는데도 매번 같은 설명을 다시 하고 있었습니다.

이 업무를 고른 이유는 세 가지였습니다. 매달 확실히 반복되고, 한 건 단위로 작게 자를 수 있고, 무엇보다 틀리면 반드시 티가 납니다 — 합계가 안 맞으니까요. 첫 Skill로는 성공보다 실패가 눈에 보이는 게 중요하다고 봤습니다.

입력과 맥락

  • 1차 검증: 제가 직접 만든 합성 명세서 7건

  • 2차 검증: 실제 카드 명세서 파일 1개

  • 실제 가계부 데이터에는 접근하지 않았습니다. 파일을 읽고 제안표를 만드는 데까지만 하고, 장부에는 아무것도 쓰지 않았습니다.

  • 가맹점명·병원명은 뺐습니다. 검증에 필요한 금액은 그대로 씁니다.

내가 직접 내린 판단

범위를 좁게 잡았다. "파일 하나 통째 처리"와 "명세서 1건 입력" 중 후자를 골랐습니다. 이번 주 목표가 자동화가 아니라 한 번 돌려보고 관찰하기였으니까요.

검증 대상을 정답이 있는 달로 골랐다. 예전 작업 기록에 그 달의 실제 청구액과 은행 결제액이 남아 있었습니다. 채점표가 있는 문제를 고른 셈인데, 이게 결정적이었습니다. 틀렸을 때 "어딘가 이상하다"가 아니라 "얼마가 비는지"가 즉시 나왔습니다.

장부 조회를 하지 않기로 했다. 중복 검사 단계에서 실제 가계부를 읽어야 했는데, 읽기 전용이라도 실제 금융 데이터라 하지 않기로 했습니다. 대신 그 단계를 미실행으로 남기고 완료 선언을 하지 않았습니다.

만든 것 또는 해본 것

Skill 7필드를 다음과 같이 채웠습니다.

필드

내용

Use when

카드 이용대금명세서 파일 1개를 입력할 때. 은행 거래내역·보험금·개인 간 송금은 제외 (건별 판단이 필요해 자동화 대상이 아님)

Input

명세서 파일 경로 / 대상 결제월 / 해당 카드의 은행 결제액 (셋 다 필수)

Judgment

우선순위 사슬 3단계 — 실제 명세서 > 등록 템플릿 > 키워드 패턴. 판별 불가 건은 추측 금지, 미결정 표시

Steps

참조 로딩 → 파일 형식 판별 → 입력 유형 분기 → 매핑 → 중복 대사 → 제안 → 승인 → 입력 → 합계 검증

Output

건별 제안표 (이용일·가맹점·금액·차변·대변·근거·중복) + 합계 + 미결정 목록

Verifier

5항목. 핵심은 입력 합계 == 은행 결제액. 하나라도 미달이면 완료 선언 금지

Failure repair

파일 안 열림 / 합계 불일치 / 가맹점 판별 불가 / 중복 의심 — 각각 확인 순서 지정

Input의 세 번째 항목과 Steps의 "입력 유형 분기"는 처음에 없었습니다. 실제 파일을 넣고 나서 추가됐습니다.

증거와 관찰

1차 — 합성 데이터 7건: 전부 통과

기간 경계, 마감 후 환불 예외, 금액 컬럼 함정을 일부러 심어놨고 전부 잡혔습니다. 이때 "잘 만들었다"고 생각했습니다.

2차 — 실제 명세서: 3개 실패

정답 (기록에 남아 있던 실제 청구액)  : 1,630,960
Skill을 쓴 그대로 적용              : 1,594,500   ← 36,460 부족
수리 후 다시 실행                   : 1,630,960   ← 일치

F1 · 이미 잘라놓은 걸 또 잘랐다 (−36,160원)

카드사별 청구주기 표를 규칙에 넣어뒀는데 그게 화근이었습니다. 이용대금명세서는 카드사가 이미 청구주기로 잘라서 준 결과물입니다. 같은 기준을 다시 적용하니 이중 필터가 됐습니다.

게다가 실제 명세서 범위는 제가 적어둔 기간을 양쪽으로 하루씩 벗어나 있었습니다. 경계에 걸린 연회비와 보험료 2건이 통째로 탈락했습니다.

원래 문서에는 이미 답이 있었습니다 — "raw 거래내역이 아니라 명세서의 금액이 실제 청구액". 입력 유형이 두 가지라는 걸 못 보고 하나의 절차에 섞어 쓴 게 원인이었습니다.

F2 · 금액이 한 컬럼에만 있는 게 아니었다 (−300원)

"금액은 이 컬럼을 쓴다"고 단정했는데, 연회비와 알림수수료는 그 컬럼이 0이고 다른 컬럼에 들어 있었습니다. 규칙을 단정적으로 쓴 대가입니다.

F3 · 필요한 데이터가 입력 파일에 아예 없었다 (−45,000원)

"마감 후 환불은 이번 결제분에 포함"이라는 예외를 넣어뒀는데, 그 환불이 명세서에 없었습니다. 명세서 청구액과 은행 결제액의 차이로만 존재를 알 수 있는 값이었습니다.

명세서 청구액 : 1,630,960
은행 실결제액 : 1,585,960
차액          :    45,000   ← 명세서에 없는 환불

Skill의 입력을 "파일 1개"로 정의한 것 자체가 구멍이었습니다. 규칙은 맞는데 그 규칙을 실행할 재료가 입력에 없었습니다.

실패·막힘·수정

세 곳을 고쳤습니다.

고치기 전

고친 뒤

F1

모든 입력에 청구주기 필터 적용

입력 유형 분기 — 명세서는 필터 미적용, raw 거래내역만 적용

F2

금액 컬럼 1개

두 컬럼 합산, 둘 다 0인 행은 제외

F3

입력 = 파일 1개

필수 입력에 은행 결제액 추가

다시 돌리니 합계가 정확히 맞았습니다. 판별 못 한 10건은 추측하지 않고 미결정으로 남겼습니다.

앞서 쓴 걸 정정합니다. 합성 테스트 때 "금액 컬럼을 잘못 고르면 13만원 넘게 차이난다"고 봤는데, 실제 파일에서는 두 컬럼 합계가 같았습니다. 제가 합성 데이터를 만들 때 취소 상쇄행을 빼먹어서 생긴 착시였습니다.

실제 값어치는 다른 데 있었습니다 — 금액이 0인 발권/취소 쌍 9건을 걸러낸다는 것. 합계는 어차피 맞지만, 놓치면 장부에 의미 없는 9건이 남습니다. 합계의 문제가 아니라 내역의 문제였습니다.

막힌 채로 남긴 것도 적습니다.

  • 중복 검사: 실제 장부를 읽어야 해서 미실행. 이 제안표를 그대로 입력하면 중복 위험이 있습니다.

  • 미결정 10건: 로컬 쇼핑 내역 파일로 풀어보려 했으나 전부 2024년 데이터였습니다. 대상은 2025년 초. 겹치는 구간이 하루도 없어서 0건 해결했습니다.

둘 다 완료로 치지 않았습니다.

결과와 다음 실험

Skill은 총 5번 고쳤습니다. 1번은 합성 데이터가, 3번은 실제 파일 하나가 꺼냈습니다. 나머지 1번은 제가 "읽기 전용이면 괜찮겠지"라고 전제한 걸 지적받아서였습니다.

가장 크게 남은 건 이겁니다. 테스트 데이터를 내가 만들면, 내가 아는 함정만 들어간다. 합성 7건은 제가 규칙에 맞춰 만들었으니 통과하는 게 당연했습니다. 통과했다는 사실이 아무것도 증명하지 못했던 겁니다.

그리고 오류 3개 중 하나는 답이 원래 문서에 이미 적혀 있었습니다. 제가 읽고도 그 문장이 "입력이 두 종류"라는 뜻인 줄 몰랐을 뿐입니다. 규칙을 못 적어서가 아니라 못 읽어서 틀리는 경우가 있다는 걸 봤습니다.

다음 하나만 고른다면 — 미결정 10건을 만든 원인 쪽입니다. 판별 불가의 절반이 간편결제 건인데, 카드 명세서에는 결제수단만 찍히고 품목이 안 남습니다. 이건 규칙을 더 정교하게 써서 풀 문제가 아니라 다른 자료가 필요한 문제라서, Skill이 아무리 좋아져도 안 풀립니다. 그 경계를 확인한 것 자체가 이번 주 수확이었습니다.


watchdog_handoff:
  program: 지피터스 23기 에이전트하네스
  week: W1
  source_skill: w1-basic-assignment
  learner_display_name: whooing
  candidate_title: "내가 만든 테스트는 내 규칙을 통과하도록 만들어진다"
  learner_claimed_url: none
  source_status: draft
  decision_authority: watchdog
  skill_decision: not_performed
  watchdog_live_verification: required
  reward_delivery: separate_downstream_operation
3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

와, '내가 만든 테스트 데이터는 내가 아는 함정만 담고 있었다'는 말씀이 진짜 뼈를 때리네요. 유피테르님 글을 보면서 저도 테스트를 설계할 때 범했던 비슷한 시행착오들이 떠올라 적극 공감했습니다. 특히 정답이 명확한 달을 골라 오차 금액을 대조하며 필터를 촘촘하게 수리해 나가는 분석 방식은 무척 영리한 접근인 것 같습니다. 실패를 직시하고 규칙의 구멍을 메워나가는 디버깅 과정을 투명하게 보여주셔서 정말 큰 배움을 얻고 갑니다.

kyung 프로필 이미지
kyung2026.07.28
합성 데이터 7건이 전부 통과해도 실제 명세서 한 장에서 바로 3개가 터지는 과정이 정말 현실적이네요. 특히 명세서는 이미 청구주기로 잘린 결과물인데 다시 필터를 씌워서 누락이 났다는 부분, 자동화에서 “규칙이 있다”와 “입력의 종류를 제대로 읽었다”가 다르다는 걸 잘 보여주는 것 같아요. 미결정 10건과 중복 검사를 억지로 완료 처리하지 않은 것도 좋았습니다. 테스트 통과보다 어디까지가 Skill로 풀 수 있는 문제인지 경계를 확인한 게 더 큰 수확이네요.
Giacomo 프로필 이미지
Giacomo2026.07.28

합성 데이터 7건의 통과를 성공으로 끝내지 않고 실제 명세서 한 건으로 다시 확인해, 이중 기간 필터와 금액 컬럼, 입력 자체에 없던 환불 정보까지 세 갈래로 원인을 나눈 점이 좋았어요. 특히 합성 데이터에서 생긴 착시를 정정하고, 판별하지 못한 10건은 억지로 채우지 않은 태도에서 검증 중심의 설계가 잘 드러났습니다.

실제 장부 조회와 중복 검사를 하지 않았으므로 전체 입력 완료로 보지 않은 경계도 정확해요. 다음에는 비식별 처리한 장부 사본에 같은 제안표를 적용해 중복 의심 건이 어디서 멈추는지 한 번 검증해주시면, 합계 일치 이후에 남은 입력 위험까지 더 선명하게 보여줄 수 있을 것 같아요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요