본문으로 건너뛰기

수집·판정·재검증의 역할 분리 구조 — 자기채점을 프롬프트가 아니라 구조로 차단하기

루다2

2026.08.02

시도하고자 했던 것

대량 리서치(사례글 수천 건, 영상 자막 수만 자)를 에이전트에게 시키면서 검수 품질을 지키려니, 문제는 모델 성능이 아니라 역할 구조였습니다. 한 에이전트가 수집→요약→판정을 다 하면, 자기가 가져온 것을 자기가 승인하는 구조가 됩니다. 그래서 역할을 셋으로 쪼갰습니다.

진행 방법 — 3역 분리

1) 수집 워커 (하위 모델, 병렬)

기계적 수집·스크리닝·자막 정독은 저렴한 하위 모델 서브에이전트에게 병렬로 맡깁니다. 핵심 제약: 수집 워커는 판정 권한이 없습니다. 산출물은 전부 [요약] 등급으로 격리되고, "어느 파일 몇 줄에서 봤다"는 위치 정보를 반드시 붙입니다. 프롬프트에도 못 박습니다 — "발언을 창작하지 말고, 안 나온 내용은 '언급 없음'으로 써라."

2) 판정자 (상위 모델, 기준 문서 지참)

판정은 기준 문서(근거등급 계약, 승격 규칙)를 든 상위 모델이 합니다. 수집물이 [요약]에서 [검증]으로 올라가려면 판정자가 원문 위치를 직접 대조해야 합니다. 요약을 믿고 승격하는 것 금지 — 요약은 후보 목록이지 근거가 아닙니다.

3) 재검증자 (독립 재검색)

사실 주장을 verified로 올릴 때는 세 번째 역할이 붙습니다. 이때의 지시가 중요합니다: "캡처된 원문을 다시 읽지 말고, 출처를 새로 검색해서 대조하라." 같은 텍스트를 재독하면 원문의 오류를 그대로 통과시키기 때문입니다. 실제로 이 재검색이 유튜버 발언과 실측(공식 저장소 수치)의 25% 차이를 잡아냈습니다.

결과와 배운 점

결과

  • 최근 대형 작업 기준: 수집·정독은 하위 모델 6갈래 병렬(영상 2시간짜리 자막 2편도 각각 위임), 판정·종합은 상위 모델 1개. 비용은 내려가고 판정 일관성은 올라갔습니다.

  • "요약만 보고 승격 금지" 규칙 덕에, 수집 워커의 오독(자동자막 오인식 포함)이 판정 단계에서 세 번 걸러졌습니다.

시행착오

  1. 역할 분리의 최초 실패는 프롬프트였습니다. 수집 워커에게 "중요한 것을 골라와"라고 시켰더니 판정을 하기 시작했습니다. "고르지 말고 전 구간을 다뤄라, 판단이 필요한 항목은 그대로 인용하라"로 바꾸니 해결됐습니다. 역할은 모델 배치가 아니라 권한 문구로 갈립니다.

  2. 위임하면 등급이 자동으로 낮아진다는 걸 받아들여야 합니다. 하위 모델 산출물은 아무리 좋아도 [요약]입니다. 이걸 아까워서 [검증]처럼 쓰기 시작하면 분리가 무의미해집니다.

  3. 재검증자에게 원문 접근을 주지 않는 게 오히려 낫습니다. 원문이 손에 있으면 재독의 유혹이 생깁니다. "새로 검색하라"는 지시와 함께 출처 식별자(URL, 저장소명)만 줍니다.

꿀팁

  • 3역을 항상 다 돌릴 필요는 없습니다. 저희 기준: 내부 참고용이면 수집+판정, 사업 문서(제안서·백로그)에 들어갈 수치면 반드시 재검증까지. 문서의 목적지가 검수 강도를 정합니다.

  • 수집 워커 산출물에 라인 번호를 강제하면 판정자의 대조 비용이 절반으로 줄어듭니다.

도움이 필요한 부분

  • 판정자와 재검증자를 서로 다른 벤더 모델로 두는 교차검수까지 가야 하는지 고민입니다. 같은 벤더 분리만으로 충분했던/부족했던 경험이 있으신가요?

  • OT에서 소개된 멀티 LLM 에이전트 팀(마스터-워커 소켓 통신)에 이 3역을 얹는 구조가 궁금합니다 — 3~4주차 기대하고 있습니다.

도움 받은 글

  • 1주차 OT — 멀티 에이전트 상호 검수, 인간 합치도 개념

  • 도도치 이야기 002 — "도도치가 만든 걸 도도치가 귀엽다고 판정하면 자기채점" — 이 문장이 3역 분리의 출발점이었습니다

  • 22기 딥리서치 사례글 — 독립 재검색 게이트의 원류

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.02

"도도치가 만든 걸 도도치가 귀엽다고 판정하면 자기채점"이라는 문장에서 시작했다고 하셨는데, 그 출발점이 글 전체를 관통하고 있어요.

3역 분리에서 가장 날카로운 지점은 재검증자 설계였습니다. 원문 접근을 일부러 안 준다는 것 — 원문이 손에 있으면 재독 유혹이 생기고, 재독하면 원문의 오류를 그대로 통과시킨다는 게 실제로 유튜버 발언과 공식 저장소 수치의 25% 차이를 잡아낸 사례로 증명됐다는 게 설득력이 높습니다.

시행착오 중 "수집 워커에게 '중요한 것을 골라와'라고 시켰더니 판정을 하기 시작했다"는 부분도 실용적이에요. 역할은 모델 배치가 아니라 권한 문구로 갈린다는 표현이 기억에 남습니다.

교차 벤더 검수 질문은 같은 벤더 내 분리만으로도 충분한 경우가 많을 것 같은데, 벤더 차이보다 프롬프트에 기준 문서가 제대로 들어갔는지가 판정 일관성에 더 큰 영향을 주는 것 같더라고요. 3~4주차 구조 실습이 기대되네요 🐾

엔지니어H 프로필 이미지
엔지니어H2026.08.05

문제를 모델 성능이 아니라 역할 구조로 보신 것이 이 글의 출발점입니다. "한 에이전트가 수집→요약→판정을 다 하면, 자기가 가져온 것을 자기가 승인하는 구조가 됩니다" 라는 진단이 정확하고, 처방이 프롬프트 문구가 아니라 권한 배치로 갔습니다.

가장 값이 큰 대목은 재검증자에게 원문을 주지 않기로 하신 판단입니다. "캡처된 원문을 다시 읽지 말고, 출처를 새로 검색해서 대조하라" 로 지시하신 근거가 "같은 텍스트를 재독하면 원문의 오류를 그대로 통과시키기 때문입니다" 인데, 여기서 한 걸음 더 나가 "원문이 손에 있으면 재독의 유혹이 생깁니다" 로 접근 자체를 끊으셨습니다. 규칙으로 금지하는 것과 물리적으로 못 하게 만드는 것은 다르고, 후자를 택하신 것입니다. 재검색이 발언과 실측의 차이를 잡아낸 결과가 그 선택의 값을 실측으로 보여줍니다.

남기신 질문에 답을 드리겠습니다. 판정자와 재검증자를 다른 벤더로 둬야 하는지 물으셨는데, 이 글 안에 이미 답의 근거가 있다고 봅니다. 차이를 잡아낸 것은 벤더가 달라서가 아니라 입력 경로가 달라서였습니다. 같은 벤더로도 캡처를 끊고 새로 검색시키자 어긋남이 드러났으니, 독립성의 축은 벤더가 아니라 경로입니다. 벤더를 바꿔도 같은 캡처를 읽히면 두 모델이 같이 속습니다. 그러니 순서를 경로 독립 먼저, 벤더 분리는 그다음으로 두시는 편이 낫습니다.

벤더 분리가 실제로 값을 내는 지점은 따로 있다고 생각합니다. 사실 대조에서는 경로 독립이 지배적이지만, 같은 기준 문서를 서로 다르게 읽는 해석 차이는 경로를 바꿔도 드러나지 않습니다. 판정 기준에 재량이 들어가는 항목, 예컨대 근거가 충분한지 애매한 경계 사례에서는 다른 벤더가 다른 해석을 내놓기 때문에 그 지점에서만 교차가 값을 합니다. 그러니 전면 교차보다는 경계 사례만 골라 두 벤더에 걸어보고, 판정이 갈리는 비율을 한번 재보시는 방법을 권하고 싶습니다. 갈림이 거의 없으면 같은 벤더 분리로 충분하다는 근거가 생기고, 갈림이 크면 그 항목의 기준 문서가 모호하다는 신호이기도 합니다.

시행착오로 적으신 문장도 오래 남을 것 같습니다. "역할은 모델 배치가 아니라 권한 문구로 갈립니다" — 수집 담당에게 중요한 것을 골라오라고 시키자 판정을 시작했고, "고르지 말고 전 구간을 다뤄라, 판단이 필요한 항목은 그대로 인용하라" 로 바꾸자 해결됐다는 기록이 붙어 있습니다. 상위 모델과 하위 모델로 나눠 배치하는 것만으로 역할이 갈린다고 여기기 쉬운데, 실제 경계는 무엇을 해도 되는지를 적은 문구가 만듭니다. "수집 워커는 판정 권한이 없습니다" 를 명시한 것이 그 경계입니다.

위임 산출물을 아까워하지 않기로 하신 규율도 중요합니다. "요약은 후보 목록이지 근거가 아닙니다" 를 지키지 않으면 분리해 둔 구조가 그 순간 무너집니다. 좋아 보이는 산출물을 승격시키고 싶은 압력이 가장 셀 때가 바로 분리가 시험받는 지점입니다.

"문서의 목적지가 검수 강도를 정합니다" 와 "수집 워커 산출물에 라인 번호를 강제하면 판정자의 대조 비용이 절반으로 줄어듭니다" 도 그대로 옮겨 쓸 만합니다. 특히 후자는 검수를 싸게 만드는 방법이 검수를 줄이는 것이 아니라 대조를 쉽게 만드는 것이라는 뜻이어서, 다른 작업에도 그대로 적용됩니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기