멀티에이전트의 “완료”를 검증 가능한 계약으로 바꾼 방법
2026.08.13
한줄 요약
저는 에이전트의 완료 선언을 그대로 믿지 않고, 상태 전이·근거 결합·역할 분리·적대 검증을 통과해야만 완료로 인정하는 검증기를 설계했습니다.
문제
멀티에이전트 작업에서는 결과를 만든 에이전트가 스스로 검토 상태까지 선언하기 쉽습니다. 형식이 맞는 결과, 검토가 끝난 결과, 최종 승인을 받은 결과가 한 상태로 섞이면 누락된 검토나 재사용된 근거도 완료처럼 보일 수 있습니다.
저는 자연어 보고를 신뢰 신호로 쓰지 않고, 기계가 확인할 수 있는 완료 조건을 별도로 정의하기로 했습니다.
기술 설계
완료 판단을 네 요소로 분리했습니다.
작업 계약: 기대 산출물, 필수 검증, 금지 상태 전이를 선언합니다.
결과 영수증: 실제 산출물과 검증 결과를 구조화해 기록합니다.
독립 검수: 생성 주체와 다른 검수 주체가 동결된 결과만 읽습니다.
상태 머신: 생성됨, 검수 대기, 사람 확인 대기, 완료를 순서대로만 이동합니다.
검증기는 구조 유효성과 완료 가능성을 따로 판정합니다. 중간 산출물은 구조적으로 유효할 수 있지만, 필수 검증이 비어 있으면 완료 상태로 이동하지 못합니다. 오류가 있거나 판단에 필요한 값이 없으면 기본값은 거부입니다.
구현 과정
먼저 작업 계약과 결과 영수증의 스키마를 분리했습니다. 이어서 계약에 선언된 조건과 영수증에 보고된 조건이 정확히 대응하는지 확인하는 비교기를 만들었습니다.
그다음 상태 전이를 단방향으로 제한했습니다. 생성 주체는 검수 대기까지만 기록할 수 있고, 독립 검수 결과가 있을 때만 다음 상태가 열리도록 했습니다. 검수자는 대상을 고치지 않고 판정만 남기며, 수정이 필요하면 새 후보를 만들어 다시 검수하도록 했습니다.
마지막으로 정상 입력보다 거부해야 할 입력을 먼저 목록화했습니다. 누락, 중복, 잘못된 자료형, 역할 충돌, 경로 이탈, 오래된 근거 재사용, 미검토 항목 은폐를 각각 독립 공격으로 만들었습니다.
검증
저는 다음 불변식을 자동 검사했습니다.
계약의 필수 조건과 영수증의 판정 대상이 빠짐없이 대응하는가
검토 수, 미검토 수, 전체 수가 서로 모순되지 않는가
생성 주체와 검수 주체가 분리되어 있는가
현재 후보에 속한 근거만 사용했는가
허용된 작업 영역 밖의 위치를 참조하지 않는가
필수 값이 비었을 때 예외 종료가 아니라 구조화된 실패를 반환하는가
모든 조건을 갖춘 정상 경로는 실제로 통과하는가
적대 입력은 모두 임시 복사본에서 실행해 원본을 바꾸지 않았습니다. 거부 테스트와 함께 정상 완료 제어군도 유지해 “모두 막는 검증기”가 되지 않게 했습니다.
실패와 수정
초기 설계는 결과와 근거가 존재하는지만 확인했습니다. 이 방식은 현재 작업과 관계없는 근거가 붙어도 형식상 통과할 여지가 있었습니다.
저는 근거를 현재 후보의 계약 맥락에 결합하고, 후보가 바뀌면 이전 검증 결과를 자동 승계하지 않도록 수정했습니다. 또 구조 검사와 완료 검사를 분리해, 아직 검수 중인 정상 후보를 잘못된 파일로 취급하지 않게 했습니다.
결과
완료는 이제 에이전트의 문장이 아니라 검증 가능한 상태 전이의 결과가 됐습니다. 생성, 검수, 사람 확인의 책임이 분리됐고, 근거 누락이나 상태 조작은 조용히 통과하지 않고 명시적인 실패로 남습니다.
이 결과는 완료 판정 구조의 기술적 검증을 뜻할 뿐, 배포나 외부 공개 권한을 자동으로 부여하지 않습니다.
재사용 교훈
자연어 완료 선언과 시스템 완료 상태를 분리해야 합니다.
구조가 올바른 것과 완료할 준비가 된 것은 다릅니다.
검수자는 검수 대상을 수정하지 않는 편이 재현성이 높습니다.
성공 건수만 보지 말고 미검토 항목과 전체 분모를 함께 검증해야 합니다.
정상 테스트만큼 거부 테스트가 중요합니다.
후보가 바뀌면 검증도 새 후보를 대상으로 다시 실행해야 합니다.
재사용 프롬프트
멀티에이전트 작업의 완료 검증기를 설계해 주세요.
요구사항:
- 작업 계약과 결과 영수증의 스키마를 분리한다.
- 구조 유효성과 완료 가능성을 별도로 판정한다.
- 생성, 독립 검수, 사람 확인의 상태 전이를 단방향으로 제한한다.
- 생성 주체와 검수 주체를 분리한다.
- 누락, 중복, 자료형 오류, 역할 충돌, 경로 이탈, 오래된 근거 재사용을 fail-closed로 거부한다.
- 오류는 예외 추적문이 아니라 구조화된 실패로 반환한다.
- 거부 테스트와 정상 완료 제어군을 함께 작성한다.
- 완료 판정과 배포·게시 권한을 분리한다.
출력:
1. 상태 머신
2. 스키마 초안
3. 검증 불변식
4. 적대 테스트 표
5. 정상 경로 테스트
‘완료’라는 자연어를 작업 계약·결과 영수증·독립 검수·상태 머신으로 분해한 설계가 정확합니다. 생성 주체는 검수 대기까지만 기록하고, 동결된 후보를 다른 주체가 판정하며, 필수 값이 비거나 현재 후보의 근거가 아니면 기본값이 거부라서 말 잘하는 에이전트가 상태를 앞당길 틈이 줄었어요.
초기에는 결과와 근거의 존재만 봐서 오래된 근거도 통과할 수 있었지만, 수정 뒤에는 근거를 현재 후보의 계약 맥락에 결합하고 후보가 바뀌면 검증을 자동 승계하지 않았죠. 구조 유효성과 완료 가능성을 따로 둔 덕분에 아직 검수 중인 정상 파일을 오류로 몰지 않으면서도 완료 승격은 막을 수 있습니다.
거부 테스트만 늘리지 않고 정상 완료 제어군을 함께 둔 것도 중요해요. 누락·중복·자료형·역할 충돌·경로 이탈·오래된 근거를 임시 복사본에서 공격하면서, 모든 조건을 갖춘 후보는 실제로 통과하게 했으니 ‘안전해서 아무것도 못 하는 검증기’가 되지 않습니다.
정상 경로를 통과시키면서도 현재 후보와 관계없는 근거를 거부한 균형이 돋보였어요. 완료 판정을 게시·배포 권한과 다시 분리한 마지막 경계까지 있어 이 계약을 다른 멀티에이전트 작업에도 믿고 옮길 수 있습니다.