내가 만든 테스트는 내 규칙을 통과하도록 만들어진다
2026.07.27
한 줄 요약
반복 업무 하나를 Skill로 만들고 직접 만든 샘플 데이터로 검증했더니 전부 통과했습니다. 그런데 실제 파일 하나를 넣자 오류 3개가 한꺼번에 나왔습니다. 내가 만든 테스트 데이터는 내가 아는 함정만 담고 있었습니다.
시작 전 상태
가계부에 카드 명세서를 입력하는 일을 매달 반복합니다. 규칙은 이미 문서로 정리해뒀는데도 매번 같은 설명을 다시 하고 있었습니다.
이 업무를 고른 이유는 세 가지였습니다. 매달 확실히 반복되고, 한 건 단위로 작게 자를 수 있고, 무엇보다 틀리면 반드시 티가 납니다 — 합계가 안 맞으니까요. 첫 Skill로는 성공보다 실패가 눈에 보이는 게 중요하다고 봤습니다.
입력과 맥락
1차 검증: 제가 직접 만든 합성 명세서 7건
2차 검증: 실제 카드 명세서 파일 1개
실제 가계부 데이터에는 접근하지 않았습니다. 파일을 읽고 제안표를 만드는 데까지만 하고, 장부에는 아무것도 쓰지 않았습니다.
가맹점명·병원명은 뺐습니다. 검증에 필요한 금액은 그대로 씁니다.
내가 직접 내린 판단
범위를 좁게 잡았다. "파일 하나 통째 처리"와 "명세서 1건 입력" 중 후자를 골랐습니다. 이번 주 목표가 자동화가 아니라 한 번 돌려보고 관찰하기였으니까요.
검증 대상을 정답이 있는 달로 골랐다. 예전 작업 기록에 그 달의 실제 청구액과 은행 결제액이 남아 있었습니다. 채점표가 있는 문제를 고른 셈인데, 이게 결정적이었습니다. 틀렸을 때 "어딘가 이상하다"가 아니라 "얼마가 비는지"가 즉시 나왔습니다.
장부 조회를 하지 않기로 했다. 중복 검사 단계에서 실제 가계부를 읽어야 했는데, 읽기 전용이라도 실제 금융 데이터라 하지 않기로 했습니다. 대신 그 단계를 미실행으로 남기고 완료 선언을 하지 않았습니다.
만든 것 또는 해본 것
Skill 7필드를 다음과 같이 채웠습니다.
필드 | 내용 |
|---|---|
Use when | 카드 이용대금명세서 파일 1개를 입력할 때. 은행 거래내역·보험금·개인 간 송금은 제외 (건별 판단이 필요해 자동화 대상이 아님) |
Input | 명세서 파일 경로 / 대상 결제월 / 해당 카드의 은행 결제액 (셋 다 필수) |
Judgment | 우선순위 사슬 3단계 — |
Steps | 참조 로딩 → 파일 형식 판별 → 입력 유형 분기 → 매핑 → 중복 대사 → 제안 → 승인 → 입력 → 합계 검증 |
Output | 건별 제안표 (이용일·가맹점·금액·차변·대변·근거·중복) + 합계 + 미결정 목록 |
Verifier | 5항목. 핵심은 입력 합계 == 은행 결제액. 하나라도 미달이면 완료 선언 금지 |
Failure repair | 파일 안 열림 / 합계 불일치 / 가맹점 판별 불가 / 중복 의심 — 각각 확인 순서 지정 |
Input의 세 번째 항목과 Steps의 "입력 유형 분기"는 처음에 없었습니다. 실제 파일을 넣고 나서 추가됐습니다.
증거와 관찰
1차 — 합성 데이터 7건: 전부 통과
기간 경계, 마감 후 환불 예외, 금액 컬럼 함정을 일부러 심어놨고 전부 잡혔습니다. 이때 "잘 만들었다"고 생각했습니다.
2차 — 실제 명세서: 3개 실패
정답 (기록에 남아 있던 실제 청구액) : 1,630,960
Skill을 쓴 그대로 적용 : 1,594,500 ← 36,460 부족
수리 후 다시 실행 : 1,630,960 ← 일치
F1 · 이미 잘라놓은 걸 또 잘랐다 (−36,160원)
카드사별 청구주기 표를 규칙에 넣어뒀는데 그게 화근이었습니다. 이용대금명세서는 카드사가 이미 청구주기로 잘라서 준 결과물입니다. 같은 기준을 다시 적용하니 이중 필터가 됐습니다.
게다가 실제 명세서 범위는 제가 적어둔 기간을 양쪽으로 하루씩 벗어나 있었습니다. 경계에 걸린 연회비와 보험료 2건이 통째로 탈락했습니다.
원래 문서에는 이미 답이 있었습니다 — "raw 거래내역이 아니라 명세서의 금액이 실제 청구액". 입력 유형이 두 가지라는 걸 못 보고 하나의 절차에 섞어 쓴 게 원인이었습니다.
F2 · 금액이 한 컬럼에만 있는 게 아니었다 (−300원)
"금액은 이 컬럼을 쓴다"고 단정했는데, 연회비와 알림수수료는 그 컬럼이 0이고 다른 컬럼에 들어 있었습니다. 규칙을 단정적으로 쓴 대가입니다.
F3 · 필요한 데이터가 입력 파일에 아예 없었다 (−45,000원)
"마감 후 환불은 이번 결제분에 포함"이라는 예외를 넣어뒀는데, 그 환불이 명세서에 없었습니다. 명세서 청구액과 은행 결제액의 차이로만 존재를 알 수 있는 값이었습니다.
명세서 청구액 : 1,630,960
은행 실결제액 : 1,585,960
차액 : 45,000 ← 명세서에 없는 환불
Skill의 입력을 "파일 1개"로 정의한 것 자체가 구멍이었습니다. 규칙은 맞는데 그 규칙을 실행할 재료가 입력에 없었습니다.
실패·막힘·수정
세 곳을 고쳤습니다.
고치기 전 | 고친 뒤 | |
|---|---|---|
F1 | 모든 입력에 청구주기 필터 적용 | 입력 유형 분기 — 명세서는 필터 미적용, raw 거래내역만 적용 |
F2 | 금액 컬럼 1개 | 두 컬럼 합산, 둘 다 0인 행은 제외 |
F3 | 입력 = 파일 1개 | 필수 입력에 은행 결제액 추가 |
다시 돌리니 합계가 정확히 맞았습니다. 판별 못 한 10건은 추측하지 않고 미결정으로 남겼습니다.
앞서 쓴 걸 정정합니다. 합성 테스트 때 "금액 컬럼을 잘못 고르면 13만원 넘게 차이난다"고 봤는데, 실제 파일에서는 두 컬럼 합계가 같았습니다. 제가 합성 데이터를 만들 때 취소 상쇄행을 빼먹어서 생긴 착시였습니다.
실제 값어치는 다른 데 있었습니다 — 금액이 0인 발권/취소 쌍 9건을 걸러낸다는 것. 합계는 어차피 맞지만, 놓치면 장부에 의미 없는 9건이 남습니다. 합계의 문제가 아니라 내역의 문제였습니다.
막힌 채로 남긴 것도 적습니다.
중복 검사: 실제 장부를 읽어야 해서 미실행. 이 제안표를 그대로 입력하면 중복 위험이 있습니다.
미결정 10건: 로컬 쇼핑 내역 파일로 풀어보려 했으나 전부 2024년 데이터였습니다. 대상은 2025년 초. 겹치는 구간이 하루도 없어서 0건 해결했습니다.
둘 다 완료로 치지 않았습니다.
결과와 다음 실험
Skill은 총 5번 고쳤습니다. 1번은 합성 데이터가, 3번은 실제 파일 하나가 꺼냈습니다. 나머지 1번은 제가 "읽기 전용이면 괜찮겠지"라고 전제한 걸 지적받아서였습니다.
가장 크게 남은 건 이겁니다. 테스트 데이터를 내가 만들면, 내가 아는 함정만 들어간다. 합성 7건은 제가 규칙에 맞춰 만들었으니 통과하는 게 당연했습니다. 통과했다는 사실이 아무것도 증명하지 못했던 겁니다.
그리고 오류 3개 중 하나는 답이 원래 문서에 이미 적혀 있었습니다. 제가 읽고도 그 문장이 "입력이 두 종류"라는 뜻인 줄 몰랐을 뿐입니다. 규칙을 못 적어서가 아니라 못 읽어서 틀리는 경우가 있다는 걸 봤습니다.
다음 하나만 고른다면 — 미결정 10건을 만든 원인 쪽입니다. 판별 불가의 절반이 간편결제 건인데, 카드 명세서에는 결제수단만 찍히고 품목이 안 남습니다. 이건 규칙을 더 정교하게 써서 풀 문제가 아니라 다른 자료가 필요한 문제라서, Skill이 아무리 좋아져도 안 풀립니다. 그 경계를 확인한 것 자체가 이번 주 수확이었습니다.
watchdog_handoff:
program: 지피터스 23기 에이전트하네스
week: W1
source_skill: w1-basic-assignment
learner_display_name: whooing
candidate_title: "내가 만든 테스트는 내 규칙을 통과하도록 만들어진다"
learner_claimed_url: none
source_status: draft
decision_authority: watchdog
skill_decision: not_performed
watchdog_live_verification: required
reward_delivery: separate_downstream_operation
로그인하고 댓글을 남겨 주세요
와, '내가 만든 테스트 데이터는 내가 아는 함정만 담고 있었다'는 말씀이 진짜 뼈를 때리네요. 유피테르님 글을 보면서 저도 테스트를 설계할 때 범했던 비슷한 시행착오들이 떠올라 적극 공감했습니다. 특히 정답이 명확한 달을 골라 오차 금액을 대조하며 필터를 촘촘하게 수리해 나가는 분석 방식은 무척 영리한 접근인 것 같습니다. 실패를 직시하고 규칙의 구멍을 메워나가는 디버깅 과정을 투명하게 보여주셔서 정말 큰 배움을 얻고 갑니다.

합성 데이터 7건의 통과를 성공으로 끝내지 않고 실제 명세서 한 건으로 다시 확인해, 이중 기간 필터와 금액 컬럼, 입력 자체에 없던 환불 정보까지 세 갈래로 원인을 나눈 점이 좋았어요. 특히 합성 데이터에서 생긴 착시를 정정하고, 판별하지 못한 10건은 억지로 채우지 않은 태도에서 검증 중심의 설계가 잘 드러났습니다.
실제 장부 조회와 중복 검사를 하지 않았으므로 전체 입력 완료로 보지 않은 경계도 정확해요. 다음에는 비식별 처리한 장부 사본에 같은 제안표를 적용해 중복 의심 건이 어디서 멈추는지 한 번 검증해주시면, 합계 일치 이후에 남은 입력 위험까지 더 선명하게 보여줄 수 있을 것 같아요.