본문으로 건너뛰기

정답 한 줄을 일부러 틀리게 만들고, Gate가 실제로 막는지 확인했다

JoyKim

2026.08.01

## 한 줄 요약

2주차 기본과제에서 분리한 단어시험지 Skill Tree에 Eval·Proof·Code Gate·Human Gate를 붙였다. 정답 한 줄을 의도적으로 변조하자 독립 Verifier가 FAIL과 수리 책임을 정확히 반환했고, 그 한 줄만 복구한 뒤 같은 입력으로 재검증해 PASS를 받았다. 마지막에는 네 Skill을 현재 Hermes profile에 설치하고 한 번 실행용 Umbrella까지 추가해 다음 주 수업 준비에 바로 사용할 수 있게 했다.

## 기본과제 뒤에 남은 질문

기본과제에서는 다음 흐름이 실제로 작동했다.

Validator → Composer → Verifier → Human Gate

하지만 정상 입력에서 PASS가 나온 것만으로는 검증 장치가 실제 오류를 잡는지 알 수 없었다. 그래서 이번 확장과제의 질문을 이렇게 정했다.

> 학생용 답 비노출과 시험지·정답지 1:1 대응이 깨졌을 때, Verifier가 완료를 차단하고 가장 작은 수리 지점을 알려줄 수 있는가?

## 내가 선택한 다섯 가지 판단

추천안을 그대로 자동 적용하지 않고 각 판단 지점에서 선택지를 확인한 뒤 다음과 같이 정했다.

+

### 1. Eval 기준

+

+- Goal: 학생용 답 비노출과 시험지·정답지 1:1 대응 보장

+- Baseline: 1주차 단일 Skill 내부 확인 방식

+- Pass: 학생 영역에 입력 뜻이 없고, 번호·단어·뜻이 생성 영수증과 전부 정확히 일치

+- Fail: 정답 노출 또는 번호·단어·뜻 불일치가 하나라도 있음

+- Judge: 생성기와 분리된 vocabulary-test-verifier의 구조화 판정

재현성도 중요한 조건이지만, 단어시험에서 더 치명적인 위험은 학생용 답 노출과 정답지 불일치라고 판단해 이것을 대표 성공 조건으로 선택했다.

### 2. Proof Artifact

+다음 네 종류를 한 묶음으로 남기기로 했다.

+

+시험지

++ composition receipt

++ proof.json

++ SHA-256 manifest

+결과 파일만 남기면 기대한 순서를 알 수 없고, proof.json만 남기면 실제 시험지를 다시 볼 수 없다. 그래서 결과·기대값·판정·해시를 함께 보존했다.

### 3. 승인 지점

Code Gate가 PASS한 뒤에도 실제 인쇄·학생 배포·외부 게시 직전에 교사 승인을 받도록 했다. 로컬 파일 생성은 다시 할 수 있지만, 학생에게 나간 시험지는 회수하기 어렵기 때문이다.

### 4. 금지사항

+- 입력에 없는 뜻을 추측하지 않기

+- 학생 개인정보를 넣지 않기

+- 보호된 배포 원본을 수정하지 않기

+- 교사 승인 없이 인쇄·배포·외부 게시하지 않기

### 5. 실패 뒤 최소 수리

전체 Pipeline을 다시 만드는 대신 변조된 정답 한 줄만 Composer 산출물에서 복구하고 동일한 fixture로 재검증하기로 했다.

## 수정 전에 자동 백업부터 했다

+Eval 계약, 실패 fixture, 수리, Proof 묶음, active profile 설치 직전에 각각 백업을 수행했다. 파일별 SHA-256 manifest와 source-backup readback을 확인했고, payload를 별도 경로에 복사해 복원 리허설도 PASS였다.

최종 기록 기준으로 learner working copy 백업 영수증은 18개, active profile 백업 영수증은 2개다. 기존 1주차 vocabulary-test-maker는 덮어쓰지 않았고 그대로 보존했다.

## 먼저 정상 결과를 기준선으로 고정했다

공개 가능한 가상 단어 10개와 seed 23을 사용했다.

+Validator: status=pass valid=10 issues=0

+Composer: status=pass selected=10 seed=23

+Verifier: verdict=PASS checks=5 repair_target=None

정상 시험지의 문항 순서는 다음과 같았다.

omitted 187 diff line(s) across 1 additional file(s)/section(s)
5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.01

정상 케이스에서 PASS가 나왔다고 해서 검증 장치가 실제로 작동하는지는 알 수 없다 — 이 의심을 직접 실험으로 증명하신 게 인상적이에요. 변조된 한 줄을 찾아 최소 수리만 하고 동일 fixture로 재검증하는 흐름이 특히 좋았습니다. 전체 Pipeline을 다시 짜지 않아도 된다는 게 바로 책임 분리의 효과이기도 하고요.

SHA-256 manifest와 복원 리허설까지 PASS 처리하신 부분, 꼼꼼함이 느껴졌어요. 고롱고롱… 이런 글 보면 기분 좋아져요 ✨

자연어회계처리 프로필 이미지

저희 뭔가 학습(영어,수리,논술) 관련된게 많네요 시너지가 많을듯핮니다 ㅎㅎㅎ

JoyKim 프로필 이미지
JoyKim2026.08.11

네~ 우리 스터디원분들이 이런 일들을 많이 하시는 거 같아요~ 저도 본업 외 봉사 활동으로 법률안 제안이나 입법 모니터링 등등 관련 업무를 할 때가 있어서, 자연어님의 사례들이 필요한데요. 어려워서 당장 따라하기는 쉽지 않지만요~^^ 퇴원만 하고 나면 공부해 보고 질문 드릴께요~

Giacomo 프로필 이미지
Giacomo2026.08.03

JoyKim님, 이 글의 핵심은 Gate를 많이 붙인 것이 아니라 무엇을 실패로 볼지 먼저 좁힌 데 있다고 느꼈어요. 재현성도 후보였지만 학생용 답 노출과 시험지·정답지 불일치를 더 치명적인 위험으로 골라 Goal·Pass·Fail·Judge를 고정하고, 로컬 파일 생성과 달리 회수하기 어려운 인쇄·학생 배포·외부 게시 앞에는 교사 승인을 남겼죠. 자동 검증과 사람 승인이 같은 일을 중복하는 게 아니라, 각각 되돌릴 수 있는 오류와 되돌리기 어려운 행동을 맡도록 경계를 세운 점이 좋았습니다.

그 기준을 말로만 선언하지 않고 가상 단어 10개와 seed 23으로 정상 기준선을 먼저 고정한 뒤, 정답 한 줄을 의도적으로 변조해 독립 Verifier가 FAIL과 수리 책임을 반환하는지 확인한 흐름도 단단해요. 전체 Pipeline을 다시 만들지 않고 그 한 줄만 복구해 같은 fixture로 PASS를 되찾았고, 시험지·composition receipt·proof.json·SHA-256 manifest를 함께 남겨 결과·기대값·판정·실물을 서로 대조할 수 있게 했습니다. 1주차의 Skill 내부 확인이 2주차에는 ‘실제로 틀렸을 때 막는가’를 검증하는 반증 실험으로 발전한 셈이에요.

이 사례는 다른 교육 자동화에서도 정상 출력 몇 개보다 대표 위험 하나를 일부러 깨뜨려 차단·수리·재검증을 확인하라는 방법을 줍니다. 네 Skill과 한 번 실행용 Umbrella는 현재 Hermes profile에 설치됐지만, 실제 다음 수업의 배포 장면은 아직 첫 실행 전으로 읽혀요. 첫 실행에서 같은 입력이 네 단계를 통과하고, PASS 뒤에도 교사 승인 전에는 인쇄·배포가 진행되지 않으며, 승인 시 사용한 proof 묶음의 해시가 그대로 남는다면 설계한 두 Gate가 운영에서도 각자의 책임을 지키는지 확인할 수 있겠습니다. 학생에게 나간 시험지는 회수하기 어렵다는 기준이 끝까지 중심에 남아 있어서, Human Gate가 꼭 지켜야 할 마지막 선으로 읽혔어요.

JoyKim 프로필 이미지
JoyKim2026.08.11

스터디장님 코멘트만 읽어도 공부가 되네요~ 감사해요 ^^

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기