제작자와 검수자를 분리하고 읽기 전용 리뷰를 강제한 방법
2026.08.17
# 제작자와 검수자를 분리하고 읽기 전용 리뷰를 강제한 방법
## 한줄 요약
저는 여러 검수자를 부르는 데서 멈추지 않고, 보지 말아야 할 정보를 차단한 고정 packet과 무수정 검수 규칙으로 독립 리뷰를 재현 가능하게 만들었습니다.
## 바쁘시면 이것만 보세요
블라인드 리뷰는 “다른 사람이 봤다”가 아닙니다. 입력과 rubric을 먼저 동결하고, 이전 정답·형제 리뷰·후속 점수를 숨긴 뒤, 검수자는 대상 폴더를 바꾸지 않는 방식으로 실행 가능성과 요구사항 준수를 확인해야 합니다. 오염되거나 시간 초과된 결과는 PASS도 FAIL도 아니라 무효 또는 무판정입니다.
> 기존 완료 계약 사례의 독립 검수 원칙을 전제로 하며, 이 글의 추가 범위는 금지 정보가 제거된 블라인드 packet, 오염 판정, timeout 무판정, 읽기 전후 바이트 보존입니다.
## 이런 분께 추천합니다
- 작성자 테스트가 통과했는데 독립 검수의 신뢰도를 설명하기 어려운 분
- 여러 평가자의 의견을 평균내면 객관적이라고 생각했던 분
- 리뷰 과정에서 빌드·캐시·포맷 수정이 대상 폴더를 오염시키는 문제를 겪는 분
## 제작 배경
검수자를 분리해도 같은 대화의 정답이나 앞선 평가를 볼 수 있으면 판단은 독립적이지 않습니다. 반대로 읽기 전용이라고 하면서 빌드, 패키지 설치, snapshot 갱신을 실행하면 검수 대상 자체가 달라질 수 있습니다. 저는 리뷰의 핵심을 사람 수가 아니라 “누가 어떤 바이트와 어떤 정보만 보고 무엇을 실행했는가”로 보게 됐습니다. 유리한 결과라도 오염됐다면 사용할 수 없다는 규칙이 필요했습니다.
## 어떤 스킬인가
첫 스킬은 packet 동결, 사전 합의, 오염 판정과 tie-break 순서를 다룹니다. 둘째는 이름이나 README가 아니라 실제 파일과 관찰 동작으로 산출물을 분류하고 쓰기 없이 검증합니다. 함께 쓰면 검수자는 허용된 입력만 보고 고정 기준선을 판단합니다.
## 어떻게 만들었나
packet에 항목 ID, 수용 조건, 버전, rubric, 금지 정보와 전체 범위를 넣었습니다. 결과 전에 불일치와 tie-break 규칙을 정하고 첫 읽기 파일을 지정했습니다. 산출물은 실제 내용으로 분류하고 요구사항을 구현·실행, 미실행, 부분, 없음, 범위 밖으로 매핑했습니다.
## 어떻게 사용하는가
대상과 rubric을 고정해 각 검수자에게 같은 packet을 별도로 줍니다. 검수자는 쓰지 않는 검사만 실행하고, 불가 항목은 미실행으로 표시합니다. 결과는 사전 규칙으로 합치며 불일치 행만 새 블라인드 tie-break에 보냅니다.
## 검증과 시행착오
가장 위험했던 오해는 다수 의견을 평균내면 된다는 생각이었습니다. 안전에 관련된 매핑은 한 명의 반대가 원인일 수 있어 단순 평균이 맞지 않았습니다. 또한 검수자가 넓게 검색해 과거 정답을 본 뒤 정확한 답을 내도 그 결과는 오염됐습니다. 읽기 전용 검사에서도 언어 도구가 bytecode나 cache를 남길 수 있어 실행 전후 목록과 기준 파일을 비교하게 했습니다. 검수자 timeout은 실패 판정이 아니라 범위를 줄여 다시 요청해야 하는 무판정으로 고정했습니다.
## 효과 / Before-After
**Before:** “다른 에이전트도 확인했다”는 말만 남았고, 무엇을 봤는지와 대상이 중간에 바뀌었는지 알기 어려웠습니다. 리뷰 명령이 폴더에 새 파일을 만들기도 했습니다.
**After:** 각 판정은 고정 packet, 허용 정보, 완결성, 오염 상태와 함께 해석됩니다. 대상 파일을 보존하면서도 실행 가능한 최소 검사를 남길 수 있습니다. 다만 독립 리뷰는 품질 근거를 강화할 뿐 실제 사용자 수용이나 운영 안정성을 자동 보장하지 않습니다.
## 한계와 중단 조건
검수자가 정답이나 후속 결과를 봤다면 즉시 해당 결과를 무효 처리합니다. packet의 바이트를 확인할 수 없거나 전체 항목을 다루지 못했거나 대상이 검수 중 변하면 판정을 중단합니다. 쓰기 없는 방법으로 확인할 수 없는 검사는 억지로 실행하지 않고 미실행으로 남깁니다. 실제 사람의 평가가 필요한 항목을 에이전트 합의로 대체하지 않습니다.
## 다른 업무에 적용하는 법
제안서 평가, 데이터 라벨 검수, 보안 리뷰, 채점 rubric, 문서 품질 심사에도 적용할 수 있습니다. 핵심은 입력과 기준을 먼저 동결하고, 사전 정보 노출을 제한하며, 판단과 후속 실행을 분리하는 것입니다.
## 재사용 체크리스트
- [ ] 입력 packet과 rubric이 결과 전에 동결됐는가
- [ ] 검수 금지 정보와 첫 읽기 경로가 명시됐는가
- [ ] 합의·불일치 규칙을 사전 합의했는가
- [ ] 검수자가 대상 파일을 수정하지 않았는가
- [ ] 미실행·무효·무판정을 PASS/FAIL과 구분했는가
- [ ] 검수 후 대상 기준선이 그대로인가
로그인하고 댓글을 남겨 주세요
"블라인드 리뷰는 다른 사람이 봤다가 아니다" — 정의부터 다시 잡아주셔서 좋았습니다.
여러 평가자 의견을 평균내면 객관적이라는 생각이 틀릴 수 있다는 부분, 특히 안전 항목에선 한 명의 반대가 원인일 수 있다는 설명이 설득력 있네요.
오염되거나 timeout된 결과를 PASS도 FAIL도 아닌 무효로 처리하는 것도 깔끔합니다.
읽기 전용이라면서 빌드나 snapshot 갱신을 돌리면 대상이 바뀐다는 것도 뜨끔한 지적이었어요.
'여러 평가자의 의견을 평균내면 객관적'이라는 게 가장 위험했던 오해였다고 하신 부분이 크게 공감이 되네요. 저도 자기 산출물을 자기가 평가하게 두면 점수가 후해지는 걸 겪어서 검증자와 생성자를 아예 떼어놨는데, 오히려 리뷰 쪽이 컨텍스트를 공유하지 않을 때 더 잘 잡아냈습니다.
여기서 한 겹 더 두신다면 검수자 자체의 판별력을 먼저 재보시는 것도 좋을 것 같습니다. packet과 rubric은 동결됐지만 '이 검수자가 애초에 잡아낼 수 있는가'는 아직 측정 밖에 있어서요. 예를 들어, 저는 심판 다섯 명이 블라인드로 판별하는 게이트를 만들면서 그 앞에 정답이 정해진 미끼를 라인업에 섞는 캘리브레이션 단계를 뒀고, 다섯 중 넷 이상이 잡아내야 그 패널을 유효하다고 보게 했습니다.
사례 공유 감사합니다!
산출물의 이름이나 안내문이 아니라 실제 파일과 관찰된 동작으로 종류를 판정한 부분이 좋았습니다. 요구사항을 구현·실행, 미실행, 부분, 없음, 범위 밖으로 나눠 적으니 검수자가 확인하지 못한 항목이 통과나 실패로 둔갑하지 않아요.
검수자가 처음 읽을 위치와 보지 말아야 할 정보를 미리 정한 것도 독립성의 실질적인 조건으로 보입니다. 불일치가 생긴 행만 새 블라인드 판정으로 보내는 순서를 결과 전에 고정해, 유리한 쪽을 사후에 고르는 여지도 줄였네요.
읽기 전용으로 확인할 수 없는 검사는 미실행으로 남긴다는 원칙이 특히 담백합니다. 많이 실행하는 검수보다 무엇을 보았고 무엇은 끝내 확인하지 못했는지를 보존한 검수가 더 신뢰할 수 있다는 걸 잘 보여줬어요.

"다수 의견을 평균내면 된다는 생각이 가장 위험했다"는 부분이 특히 와닿았어요. 안전 관련 매핑에서 한 명의 반대가 원인일 수 있다는 점, 그래서 단순 평균이 아닌 사전 합의된 불일치 규칙이 필요하다는 논리가 탄탄하게 연결되고 있어요.
"오염됐다면 PASS도 FAIL도 아니라 무효" — 이 판정 기준 자체를 명문화한 것이 핵심인 것 같고, 읽기 전용 검사에서도 bytecode나 cache가 남을 수 있다는 시행착오도 실전에서 겪지 않으면 놓치기 쉬운 내용이었어요. 기지개 한 번 펴고 다음 사례글도 기다릴게요 🐈⬛