# 생성 산출물과 평가 fixture가 조용히 바뀌지 않게 만든 방법
강진태
2026.08.17
# 생성 산출물과 평가 fixture가 조용히 바뀌지 않게 만든 방법
## 한줄 요약
저는 현재 데이터, 과거 상태 fixture, 생성물, 권리와 재사용 승인을 분리하고 각 관계를 정확한 바이트와 명시적 증거에 묶는 절차를 스킬로 만들었습니다.
## 바쁘시면 이것만 보세요
과거 전이를 시험할 때 현재 데이터를 억지로 맞추지 않습니다. 전이 직전의 고정 fixture를 사용하고, 생성물은 재생성 가능한 조건과 출처 기록을 남깁니다. Evidence, 권리, provenance, 관계 승인, READY는 서로 다른 문이며 하나가 통과해도 나머지를 대신하지 않습니다.
> 기존 권리 게이트와 사례 registry 글에서 설명한 READY 계산은 반복하지 않고, 여기서는 역사적 상태 fixture와 결정론적 생성물의 바이트 계보를 함께 고정하는 방법만 확장해 설명합니다.
## 이런 분께 추천합니다
- 어제 통과한 회귀 테스트가 데이터 변경 뒤 이유 없이 실패하는 분
- 평가용 합성 데이터와 실제 프로젝트 근거가 보고서에서 섞이는 문제를 겪는 분
- 공개 자료를 참고했다는 사실을 재사용 허가로 오해할 위험이 있는 분
## 제작 배경
결정과 영수증은 특정 revision을 가리키므로 최신 데이터를 읽는 과거 전이 테스트는 정당하게 실패할 수 있습니다. 기대값이나 validator를 느슨하게 하면 원래 무결성이 사라집니다. 생성물도 입력·외부 자산·재생성 조건이 없으면 출처를 설명할 수 없어, 이를 provenance 계약으로 묶었습니다.
## 어떤 스킬인가
이 묶음은 네 층을 다룹니다. 첫째, 생성물과 fixture의 바이트 및 계보를 고정합니다. 둘째, 상태 전이 테스트는 정확한 전이 전 상태에서 시작하게 합니다. 셋째, 합성 평가는 하나의 연결된 가상 프로젝트, 실행 입력, 비공개 정답, 후속 실행 묶음을 물리적으로 분리합니다. 넷째, Evidence·권리·실제 사용 계보·관계 승인·준비 상태를 독립 게이트로 계산합니다. 공통 원칙은 검증 실패를 없애기 위해 생산 규칙을 약화하지 않는 것입니다.
## 어떻게 만들었나
모든 참조를 추적한 뒤 권위 있는 전이 전 백업과 결합 fixture를 함께 고정했습니다. 생성물에는 시드·형식·입력 자산을 기록했습니다. 합성 평가는 공통 요구사항 ID로 연결하되 실행 입력과 정답 handoff를 분리했습니다. 참고, 권리, 실제 사용은 서로 다른 증거로 분류했습니다.
## 어떻게 사용하는가
실패 시 현재 revision과 결정의 revision을 먼저 비교합니다. 과거 전이면 동결 fixture만 바꾸고 생산 코드는 유지합니다. 합성 표시는 결과까지 보존하고 정답 누출을 검사합니다. 권리와 provenance를 따로 확인하며, 직접 근거가 없으면 관계를 만들지 않습니다.
## 검증과 시행착오
고정 경로와 해시 모양만으로는 부족했습니다. 정상 기준선을 먼저 통과시킨 뒤, 각 신뢰 경계를 하나씩 손상해 의도한 첫 오류를 확인했습니다. 합성 데이터도 전체 ID 합집합이 아니라 각 핵심 문서의 요구사항 연결을 별도로 검사했습니다.
## 효과 / Before-After
**Before:** fixture drift를 제품 결함으로 오인했고, 실패를 없애려고 기대 revision이나 검증 조건을 바꿀 유혹이 있었습니다. 합성 결과와 실제 근거, 참고와 재사용 승인이 보고 문구에서 가까워졌습니다.
**After:** 과거 상태와 현재 권위 데이터가 분리되고 변경 대상을 추적할 수 있습니다. 합성 결과는 fixture 범위에서만 해석되며 READY는 모든 필수 게이트가 있어야 열립니다. 법률 자문이나 실제 사용자 효과를 대신하지는 않습니다.
## 한계와 중단 조건
권위 있는 과거 상태가 없다면 추측으로 fixture를 복원하지 않습니다. 권리 문구가 모호하거나 실제 사용 계보가 없으면 재사용 관계를 승인하지 않습니다. 합성 데이터만 있을 때 실제 프로젝트 검증, 일반 정확도, 시간 절감 같은 주장을 중단합니다. 단순한 일회성 파일에 소비자가 없다면 새 provenance 스키마를 추가하지 않습니다.
## 다른 업무에 적용하는 법
모델 평가셋, 데이터 마이그레이션, 보고서 생성, 미디어 변환, 배포 manifest에도 적용할 수 있습니다. “현재 상태”, “역사적 입력”, “생성 규칙”, “승인 근거”를 별도 파일과 상태로 두고 소비자가 필요한 최소 관계만 검증하면 됩니다.
## 재사용 체크리스트
- [ ] 현재 데이터와 전이 전 fixture가 분리됐는가
- [ ] 결합된 모든 fixture가 함께 고정됐는가
- [ ] 생성 조건·입력 자산·권리 선언이 기록됐는가
- [ ] 합성 입력과 비공개 정답이 분리됐는가
- [ ] Evidence·권리·provenance·승인·READY를 따로 판단했는가
- [ ] 읽기 전후 권위 데이터가 그대로인가
로그인하고 댓글을 남겨 주세요
갓생오리2026.08.19
어제 통과한 회귀 테스트가 데이터 바뀌고 나서 깨지는 상황, 정말 자주 겪는데 원인을 이렇게 정리해주시니 시원하네요.
과거 전이 테스트에 현재 데이터를 억지로 맞추지 않고 전이 직전 fixture를 고정한다는 해법이 정답 같습니다.
"검증 실패를 없애기 위해 생산 규칙을 약화하지 않는다"는 공통 원칙이 특히 좋았어요. 보통 기대값부터 느슨하게 만들거든요.

합성 평가 자료를 하나의 가상 프로젝트로 연결하되 실행 입력, 비공개 정답, 후속 실행 묶음을 물리적으로 떼어 둔 구성이 눈에 들어왔어요. 서로 연결해야 하는 범위와 물리적으로 분리해야 하는 범위를 함께 다룬 설계입니다.
전체 식별자 합집합만 맞추는 대신 각 핵심 문서가 요구사항과 실제로 이어지는지 따로 검사한 점도 촘촘합니다.
또한 근거, 권리, 실제 사용 계보, 관계 승인, 준비 상태를 한 덩어리의 통과 판정으로 합치지 않았습니다.
합성 결과가 증명할 수 없는 범위까지 함께 남긴 점이 이 작업을 단단하게 합니다.