[Paseo] AI가 쓴 강의를 다른 AI가 9번 검수했습니다 — 교차 검수 오케스트레이션 후기

📝 한줄 요약

Paseo에서 총괄 AI 한 명에게 강의 준비를 맡겼더니, 역할이 다른 에이전트 다섯이 연구부터 모션 슬라이드 34장·대본·배포 자료까지 사흘 만에 만들었습니다. 그 과정에서 Claude가 쓴 결과물을 Codex가 원출처와 대조해 아홉 번 검수했고, 매번 "미통과"를 받으며 고쳐 나간 것이 이번 작업의 핵심이었습니다.

바쁘시면 이것만 읽어도 돼요:

• 목표: Paseo에 만들어 둔 역할 프로필 7개가 실제 일에서 굴러가는지 시험했습니다. 과제는 아동보호 실무자 대상 90분 강의의 전체 패키지였습니다.

• 깨달은 점: AI 한 명은 자기 실수를 잘 못 잡습니다. 작성과 검수를 다른 모델에 맡기자 빠진 논문, 틀린 법 조항 번호, 잘못된 연락처가 걸러졌습니다.

• 핵심 방법: 총괄에게는 규칙(동시 2명, 재위임 금지, 파일 담당 분리)과 완료 기준만 주고, 배정·재작업 판단은 맡겼습니다.

• 인상적이었던 순간: 모션 담당 AI가 "세 번 안내했는데 그대로"라는 장면을 체크 표시 세 개와 빈 칸 하나로 보여 주었습니다. 움직임이 강의 내용을 설명하고 있었습니다.

• 재사용성: 운영 가이드, 강의 제작 프롬프트, 디자인 시스템을 모두 파일로 두었기 때문에 다음 강의도 같은 지시 몇 줄로 시작할 수 있습니다.

• 배운 교훈: 검수는 끝없이 이어질 수 있습니다. 어디서 멈출지는 사람이 아니라 총괄이 "남은 지적의 크기"로 판단하게 하는 편이 좋았습니다.

🎯 이런 분들께 도움돼요

• Paseo를 막 설치하고 프로필은 만들었는데, 여러 에이전트를 어떻게 굴려야 할지 감이 안 오는 분

• 근거가 필요한 강의·교육자료를 만들어야 하는 의사·상담사·교사 같은 전문직

• AI 결과물이 그럴듯하게 틀릴까 봐 맡기기 망설여지는 분

😫 문제 상황 (Before)

저는 심리관련 종사자로 일하면서 외부 강의를 자주 합니다. 강의 하나를 준비하려면 문헌을 찾고, 강의 흐름을 짜고, 대본을 쓰고, 슬라이드를 만들고, 배포 자료까지 정리해야 합니다. 그동안은 AI를 한 명씩 불러 단계마다 따로 시켰습니다.

이번에 Paseo에 역할 프로필 7개를 만들어 두었습니다. 총괄, 대체 총괄, 실행, 문서, 조사, 검수 두 종류입니다. 그런데 프로필을 만들었다고 해서 저절로 팀이 굴러가지는 않았습니다. 마침 일주일 뒤 아동보호전문기관 실무자들을 대상으로 90분 강의가 잡혀 있어서, 이 설정이 실전에서 정말 쓸 만한지 시험해 보기로 했습니다.

🛠️ 사용한 도구

• 도구명: Paseo(에이전트 오케스트레이션), Claude Code, Codex CLI

• 모델:

  • 총괄·모션 디자인: Claude Opus 5.5

  • 문서 작성: Claude Sonnet 5.5

  • 코드·자동화: GPT-6.1-Sol

  • 자료 조사: GPT-6-Luna

  • 독립 검수: GPT-6-Astra

• 특이사항: 디자인 기준은 제가 정리해 둔 디자인 시스템 문서(Stardust V2-클로드 디자인에서 만들었음), 모션 기준은 모션그래픽 가이드 폴더를 파일로 지정했습니다.

🧭 Paseo 사용법 — 처음 따라 하기

1. 역할 프로필을 먼저 만들어 둡니다

Paseo 설정의 Agents → Agent profiles에서 프로필을 만듭니다. 프로필은 "어떤 모델을, 어떤 권한으로, 얼마나 깊게 생각하게 할지"를 묶은 설정입니다. 제가 만든 일곱 개는 이렇습니다.

각 프로필의 When to use(notes) 칸에는 "언제 이 역할을 고르는지"만 짧게 적습니다. 여기에 실제 과제를 넣지 않습니다. 총괄이 작업자를 만들 때 이 칸을 읽고 역할을 고르지만, 작업자에게 과제로 자동 전달되지는 않기 때문입니다.

2. 총괄 한 명만 엽니다

1. Paseo에서 에이전트가 실제로 도는 컴퓨터(호스트)를 고릅니다. 저는 Mac mini를 쓰고, 노트북에서는 그 Mac mini에 연결해 화면만 봅니다.

2. 작업할 폴더의 Local 워크스페이스를 엽니다.

3. 새 에이전트 화면에서 모델 선택기를 눌러 Profiles → 총괄-Opus를 고릅니다.

4. 채팅창에 총괄 시작 지시와 실제 과제를 붙여 넣습니다(아래 '재사용 가능한 프롬프트' 1번).

에이전트 탭을 여러 개 연다고 팀이 되는 것은 아닙니다. 총괄이 Paseo 도구로 직접 만든 작업자만 총괄에게 완료 알림을 보내는 "팀"이 됩니다.

3. 작업자는 총괄이 만듭니다 — 사람은 Subagents만 봅니다

총괄이 작업자를 만들면 입력창 근처 Subagents 영역에 하나씩 나타납니다. 이번에는 다음 다섯 역할이 번갈아 등장했습니다.

• 조사-Luna: 세 번(문헌 1차, 문헌 2차, 지역 연계처)

• 문서-Sonnet: 한 세션으로 계속

• 실행-Sol

• 검수-Astra

• 모션 담당 Opus 5.5

총괄은 작업자마다 다음 형식으로 지시했습니다.

• 목표 한 가지

• 읽을 파일

• 고쳐도 되는 파일 / 고치면 안 되는 파일

• 완료 기준

• 보고 형식(결과·근거·변경 파일·확인 방법·남은 문제)

작업자가 끝나면 총괄에게 알림이 가고, 총괄이 결과 파일을 직접 열어 본 뒤 다음 단계를 정합니다. 고칠 것이 있으면 새 작업자를 만들지 않고 같은 작업자에게 재작업을 보냅니다. 그래야 앞의 맥락이 이어집니다. 예외도 있습니다. 조사 담당처럼 대화 기억 용량이 거의 찼을 때는 총괄이 새 세션을 열었습니다.

4. 진행 중에는 총괄에게만 말합니다

작업자 탭에 직접 말을 걸지 않고, 총괄 대화창에 한 줄씩 보냈습니다. 이번에 실제로 보낸 말은 이런 것들입니다.

직접 여기에 올려줄게.
모션그래픽은 Opus5.5가 잘하는 것 같던데, 필요하다면 이 모델 이용해주고.
슬라이드나 웹페이지 디자인, 문서나 서류의 디자인은 Stardust-Design-System-V2.md을 기준으로 작업하고 (…) 작업을 이어서 진행해줘.

운영 가이드에는 이런 문장도 미리 적어 두었습니다. 상황에 맞게 골라 쓰면 됩니다.

• "현재 각 담당자의 일, 완료된 산출물, 막힌 점만 짧게 알려줘. 작업은 계속해."

• "현재 판본을 고정하고 검수-Astra에게 파일 수정 없이 완료 기준을 점검하게 해줘."

• "새 작업 배정을 멈추고 실행 중인 작업자를 중단한 뒤, 변경 파일과 재개 지점을 알려줘."

5. 권한 질문이 막힐 때

작업자가 "홈 폴더의 이 파일을 옮겨도 되느냐"는 권한 질문을 올렸을 때, 총괄의 권한 응답 도구가 자동 보안 검사에 막힌 적이 있습니다. 총괄은 일반 메시지로 "그대로 두고 기록만 하라"고 전달해 우회했습니다. 권한 모드(auto, auto-review)는 도구 실행 허락을 검토할 뿐이고, 결과물의 품질 검수를 대신하지 않는다는 점도 기억해 두면 좋습니다.

🔧 작업 과정

총괄에게 규칙만 건넸습니다 — "동시에 두 명까지만"

처음에는 총괄 Opus에게 아주 긴 지시를 주지 않았습니다. 운영 가이드 파일을 읽으라고 하고, 역할별로 누구에게 무엇을 맡길지와 지켜야 할 규칙만 적었습니다.

이 작업의 총괄을 맡아라.
현재 작업 폴더의 지침과 00-system/04-guides/paseo-agent-orchestration.md를 읽어라.
Paseo의 현재 프로필과 각 프로필의 notes를 확인하라.
목표·산출물·완료 기준을 정하고 필요한 작업만 위임하라.
총괄을 제외한 작업자와 검수자는 동시에 최대 2명만 실행하라.
작업자의 추가 위임을 금지하라.
같은 파일을 동시에 편집하지 마라.

총괄은 먼저 프로필 일곱 개의 모델과 권한을 확인했습니다. 다른 작업공간에서 이미 돌고 있는 에이전트가 있는지도 살펴 총괄이 겹치지 않게 했습니다. 그다음 실제 과제를 주자, 메일 정리 문서에서 대상·시간·마감을 스스로 뽑아 요구사항 문서를 만들었습니다.

"동시에 두 명" 규칙은 생각보다 중요했습니다. 총괄은 늘 두 자리를 계산하며 일을 나눴습니다. 조사 담당이 문헌을 모으는 동안 문서 담당이 제 과거 강의 녹취를 분석했습니다. 문서 담당이 원고를 쓰는 동안에는 실행 담당이 발표 엔진을 시험했습니다. 한 사람이 끝나면 완료 알림이 오고, 총괄이 결과를 직접 열어 본 뒤 다음 사람을 불렀습니다.

총괄이 막히면 대신 결정하고, 꼭 필요할 때만 물었습니다

진행하다 보니 자문 사례기록지 PDF가 Dropbox에서 '온라인 전용'으로 되어 있어 열리지 않았습니다. 총괄은 이 한 가지만 선택지 세 개로 물었습니다.

사례기록지 PDF가 0바이트 '온라인 전용'이라 열리지 않습니다. 어떻게 할까요?

제가 파일을 직접 올려 주자, 총괄은 사례 세 건을 읽고 공통점을 뽑아 강의 주제를 확정했습니다. "가족 여러 명에게 겹친 느린 학습자, 여러 번 설명해도 바뀌지 않을 때"입니다. 사례 원문은 작업자들에게 넘기지 않고, 이름과 기관을 지운 기능 요약만 따로 만들어 전달했습니다. 사람이 일일이 시키지 않았는데 개인정보를 다루는 방식을 스스로 정해 지키는 것이 인상적이었습니다.

AI가 쓴 것을 다른 AI가 원출처로 확인했습니다 — 검수 9번

이번 작업에서 가장 강조하고 싶은 부분입니다. 원칙은 단순했습니다. Claude가 쓴 결과물은 Codex 계열 검수자(Astra)가 보고, Codex가 만든 코드는 다른 세션이 봅니다. 검수자에게는 "작성자가 '확인함'이라고 적어도 믿지 말고 원출처를 직접 열어라"라고 지시했습니다. 검수 대상 파일은 지문(해시)으로 고정해, 검수하는 동안 아무도 고치지 못하게 했습니다.

첫 검수 결과는 "미통과"였습니다. 높음 등급 지적만 여섯 개였습니다.

• 빠진 연구: 경계선 지능 부모를 포함한 무작위시험이 문헌 목록에서 빠져 있었습니다. 이 연구를 넣자 강의의 한계 문장 자체가 바뀌었습니다.

• 잘못된 출처: 다른 논문의 번호가 엉뚱한 논문에 붙어 있었습니다.

• 낡은 법 조항: 2025년 법 개정으로 바뀐 내용이 반영되지 않았습니다.

• 근거보다 강한 표현: "많은 경우 그 방식으로 배우기 어려웠다"는 문장은 근거보다 앞서 나간 단정이었습니다.

총괄은 지적을 그대로 받아들이지 않고 원문을 한 번 더 열어 확인한 뒤 반영했습니다. 강의안 단계, 슬라이드 단계, 디자인 단계에서도 검수는 이어졌습니다. 시간이 밀릴 때 쓰는 비상 점프 규칙이 꼭 말해야 할 문장을 건너뛴다는 지적이 나왔습니다. 핸드아웃의 기관 담당 전화번호가 다른 지역 번호라는 것도 이때 잡혔습니다.

검수가 끝나지 않는 느낌 — 어디서 멈출지

솔직히 이 부분이 가장 힘들었습니다. 하나를 고치면 축약하는 과정에서 다른 조건이 빠지고, 그것을 고치면 또 다른 문구가 어긋났습니다. 검수가 아홉 번까지 이어지면서 "이러다 끝이 안 나겠다"는 생각이 들었습니다.

돌아보면 해결책은 총괄의 판단이었습니다. 지적의 크기가 "높음"에서 "낮음"으로 줄어들자, 총괄은 남은 작은 문구는 직접 고치고 원문 대조로만 확인했습니다. 다시 전체 검수를 돌리지는 않았습니다. 그리고 그 사실을 보고서에 "마지막 수정본은 재검수를 따로 돌리지 않았습니다"라고 밝혔습니다. 무엇을 확인했고 무엇은 안 했는지 감추지 않으니, 저도 어디까지 믿을지 판단할 수 있었습니다.

모션 덱 — 엔진은 Sol이, 움직임은 Opus가

중간에 제가 한 가지를 더 부탁했습니다.

모션그래픽은 Opus5.5가 잘하는 것 같던데, 필요하다면 이 모델 이용해주고. 최선의 결과를 원해.

총괄은 일을 둘로 나눴습니다. 먼저 실행 담당 Sol이 발표 엔진을 시험했습니다. 원래 쓰려던 HyperFrames 발표 모드는 장을 넘겨도 첫 장면이 계속 보이는 결함이 있었습니다. Sol은 그 원인을 찾아 보고하고, 대신 직접 만든 발표 엔진을 검증했습니다. 리모컨으로 넘기기, 발표자 화면과 청중 화면 분리, 인터넷 없이 실행, PDF 출력까지 실제로 돌려 본 결과였습니다.

그 위에서 Opus가 장면마다 움직임을 설계했습니다. 가장 "오!" 했던 장면은 도입부입니다. "안내 ①", "안내 ②", "안내 ③"이 1.5초 간격으로 체크 표시와 함께 쌓이고, 네 번째 칸은 점선으로 비어 있는 채 "그대로"라는 글자만 남습니다. 그 뒤 화면이 물러나며 질문이 커집니다. "여러 번 설명했는데 안 바뀐 그 사람, 안 하는 걸까요, 그 방식으로는 배우기 어려운 걸까요?" 표지에서는 직선 세 개가 벽에 막히고 초록 선 하나가 벽을 돌아 도착합니다. 장식이 아니라 강의 논지를 그림으로 보여 주는 움직임이었습니다.

완성된 덱은 다시 Sol이 코드를 교차 검수했습니다. 부록에서 돌아오는 키가 안내와 다르게 동작하는 문제, 발표자 노트에 커서가 있으면 리모컨이 먹지 않는 문제 같은 실제 발표 중에 터질 만한 문제가 다섯 개 나왔고 모두 고쳤습니다.

디자인 기준을 바꾸자 덱과 인쇄물이 한 번에 다시 나왔습니다

사흘째에 디자인 기준을 바꿨습니다.

슬라이드나 웹페이지 디자인, 문서나 서류의 디자인은 Stardust-Design-System-V2.md을 기준으로 작업하고,
모션그래픽에 관련해서는 29-assets/292-motion을 참고하여 작업해줘. 작업을 이어서 진행해줘.

기준 문서가 파일로 있었기 때문에 이 몇 줄이면 충분했습니다. Opus는 34장 전체를 새 기준의 색·글자 크기·여백으로 다시 그렸습니다. "주황은 덱 전체에서 한 번"이라는 규칙에 따라 근거가 가장 단단한 한 장에만 주황을 썼고, 그렇게 고른 이유도 남겼습니다. 같은 시간에 Sol은 핸드아웃과 현장도구를 같은 기준의 인쇄용 PDF로 만들었습니다. 검수에서 "배포판에서 내부 근거 번호를 지우다가 적용 한계 문장까지 지웠다"는 지적이 나와 다시 고쳤습니다.

✅ 결과 (After)

Before vs After

결과물

• 연구 원고와 주장 근거표: 문헌 112건 → 주장 38개 → 슬라이드 번호로 연결

• 강의 대본(약 7,650음절)과 시간이 밀릴 때 쓰는 90초 축약본

• 모션 발표 덱 34장: 리모컨 진행, 발표자 노트, 슬라이드 번호로 보는 진행 계기판, 청중 활동 타이머

• 핸드아웃 3면, 현장도구 5면(인쇄용 PDF)

무엇보다 혼자서는 만들 수 없는 결과물이었습니다. 저는 사례기록지를 올리고, 디자인 기준을 바꾸고, 표지 도해를 남길지 정하는 정도의 판단만 내렸습니다.

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 작성과 검수는 다른 모델에게: 같은 모델은 자기 실수를 비슷한 방식으로 놓칩니다. Claude가 쓰고 Codex가 원출처로 확인하게 하자 빠진 논문과 틀린 번호가 걸러졌습니다. 검수 대상은 지문(해시)으로 고정해 두세요.

2. 총괄에게는 규칙만 주고 판단은 맡기기: 동시 실행 인원, 재위임 금지, 파일 담당 분리, 완료 기준만 정해 주면 총괄이 배정·재작업·대체 경로를 스스로 판단합니다. 사람에게는 꼭 필요한 질문만 옵니다.

3. 기준 문서를 파일로 두기: 운영 가이드, 강의 제작 프롬프트, 디자인 시스템, 모션 가이드를 파일로 두면 "이 파일을 기준으로"라는 한 줄로 결과물 전체가 같은 품질로 다시 만들어집니다.

이렇게 하면 안 돼요

1. "확인했다"는 보고를 그대로 믿지 마세요: 조사 담당이 "저자 대조 완료"라고 했던 목록에서도 저자 오류가 나왔습니다. 총괄이 코드로 전수 대조하게 하세요.

2. 검수를 끝없이 돌리지 마세요: 지적이 작아지면 총괄이 직접 고치고 확인 범위를 밝히게 하는 편이 낫습니다. 대신 "재검수하지 않은 부분"을 보고서에 꼭 남기게 하세요.

🌍 다른 업무에 적용한다면?

• 보고서·제안서: 조사 담당이 자료를 모으고, 문서 담당이 쓰고, 다른 모델이 수치와 출처를 검수하는 같은 구조를 쓸 수 있습니다.

• 교육 콘텐츠 시리즈: 기준 문서와 제작 프롬프트를 그대로 두고 주제만 바꿔 여러 강의를 같은 품질로 만들 수 있습니다.

• 웹페이지·홍보물: 디자인 시스템 파일 하나로 슬라이드·인쇄물·웹을 같은 모습으로 맞출 수 있습니다.

🚀 앞으로의 계획

• 이번 강의를 녹음해 계획과 실제 발표를 비교하는 복기를 할 예정입니다. 시간이 실제로 얼마나 늘어나는지 재서 대본 분량 기준을 고치려고 합니다.

• 강의 제작 프롬프트와 발표 엔진을 다음 강의에 그대로 다시 쓸 계획입니다.

📋 재사용 가능한 프롬프트

프롬프트 1: 총괄 시작

이 작업의 총괄을 맡아라.
현재 작업 폴더의 지침과 [운영 가이드 파일 경로]를 읽어라.
Paseo의 현재 프로필과 각 프로필의 notes를 확인하라.
목표·산출물·완료 기준을 정하고 필요한 작업만 위임하라.

- 코드·자동화·테스트: [실행 프로필]
- 문서·교육자료 초안: [문서 프로필]
- 범위가 명확한 자료 찾기: [조사 프로필]
- 중요한 산출물의 독립 검수: [검수 프로필]
총괄을 제외한 작업자와 검수자는 동시에 최대 2명만 실행하라.
작업자의 추가 위임을 금지하라. 같은 파일을 동시에 편집하지 마라.
작업자는 결과·근거·변경 파일·확인 방법·남은 문제를 짧게 보고하게 하라.
너는 실제 결과를 확인하고, 필요하면 재작업시킨 뒤 최종 보고하라.

프롬프트 2: 독립 검수 요청

이 산출물을 독립 검수하라. 파일을 수정하거나 다른 에이전트에게 위임하지 마라.
검수 판본: [파일 이름과 지문(해시)]
기준: [요구사항·근거표·디자인 기준 파일]
작성자의 "확인함" 표기를 믿지 말고 원출처를 직접 열어 확인하라.
문제는 중요도 / 위치 / 근거 / 수정 제안으로 보고하고,
완료 기준마다 통과·미통과·미확인을 구분하라.

프롬프트 3: 기준 변경 후 이어서 진행

[디자인 시스템 파일 경로]를 슬라이드·문서 디자인 기준으로,
[모션 가이드 폴더 경로]를 모션 기준으로 작업해줘.
화면 문구와 기존 기능은 바꾸지 말고, 바뀐 결과는 독립 검수를 거쳐 보고해줘.