본문으로 건너뛰기

오케스트레이션? 그거, 저 모르고 이미 하고 있었더라고요 — 로나랑 제안서 스킬 재설계한 이야기

말티쭈

2026.07.16

감으로 만든 스킬을, 이름표부터 다시 붙여가며 정밀검진한 이야기예요 (feat. 자꾸 태클 거는 로나)

발단 — 실습 주제 보다가 무릎을 탁 쳤어요

이번 주 로나 실습 주제를 받았어요. "멀티에이전트 오케스트레이션 활용해보기." 솔직히 단어부터 좀 거창했어요. 지휘자가 지휘봉 흔드는 그런 건가 싶었는데, 뜯어보니 AI 에이전트 여러 명한테 일을 나눠주고, 한 명이 총괄 지휘하는 설계더라고요.

설명을 듣다가 무릎을 탁 쳤어요. "잠깐… 저 이전에 만든 맞춤형 기업 교육 제안서 자동생성 스킬, 그거 딱 이 구조 아닌가?" 자료 긁어오고, 종합하고, 검증하고 — 여러 AI가 붙어 돌아가는 구조였거든요. 근데 그땐 '오케스트레이션'이란 말도 몰랐고, 그냥 제 감으로 설계했었어요.

그래서 결심했어요. "그럼 이참에 로나랑 같이 그 스킬 정밀검진 받고, 제대로 디벨롭해보자."

전개 — 로나가 자꾸 태클을 걸었어요 (좋은 의미로요)

같이 스킬을 뜯기 시작했는데, 로나가 은근 깐깐했어요.

첫 태클: "이 업무, 진짜 AI 여럿 붙일 값어치 있어요?" — 무조건 여럿이 좋은 게 아니라 ①여러 소스를 읽고 ②경우의 수가 많고 ③자주 반복되고 ④틀리면 손해인 일에만 쓰라는 거예요. 제안서는 4개 다 통과해서, 합격 도장 받았어요.

그러다 스킬 속을 열어보니 진짜 문제가 튀어나왔어요. 자료수집을 AI 한 명이 메일·CRM·회의녹취를 순서대로 다 읽고 혼자 종합하고 있었거든요. 소스가 많아지면 앞에 읽은 걸 흘리고, 숫자가 안 맞아도 조용히 하나로 뭉갰어요.

로나: "그거 '조용한 실패'예요. 초록불 켜졌는데 결과가 틀린 상태요."

그래서 고쳤어요. 읽기는 여럿(조사원 3명이 각자 메일·CRM·녹취 담당), 종합은 하나(반장 1명)로요. 여기에 로나가 장치를 몇 개 더 얹으라고 했어요:

  • 검증 원장 — 필수정보 6개 중 뭐가 확정이고 뭐가 미확정인지 표로 다 까발려요. 모르는 걸 아는 척 못 하게요.

  • 오류 번짐 차단 — 조사원이 "이 숫자 맞아요" 하면 반장이 "출처 대봐" 하고 되물어요.

압권은 여기서였어요. 제가 "그럼 리뷰 스킬도 이 안에 아예 합쳐버릴까?" 했더니, 로나가 제가 놓친 걸 짚어줬어요.

로나: "만든 애가 자기 걸 채점하면 안 돼요 — 자기채점 분리요. 검사는 다른 역할한테 떼어놓으셔야죠." — 정신이 번쩍 들었어요. (사실 이건 제가 반박했다가 로나가 다시 정정해준 라운드였어요.)

절정 — 말로만 하면 재미없으니, 진짜로 돌려봤어요

실제 공공기관 교육 딜(익명)로 한 바퀴 돌렸어요.

  • 인원이 "두 명"이라는 소스도, "수십 명"이라는 소스도 섞여 있었어요. 예전 같으면 AI가 알아서 하나로 뭉갰을 걸, 검증 원장이 "6개 중 4개 미확정!" 하고 빨간불을 켰어요.

  • 오류 번짐도 실험했어요. 과거 딜의 틀린 숫자를 일부러 심어놓고, "출처 요구 없는 반장" vs "있는 반장"으로 A/B를 돌렸어요. 없는 쪽은 그 틀린 숫자가 제안서로 슬쩍 흘러갔고, 있는 쪽은 "어, 이거 다른 딜 숫자잖아?" 하고 잡아냈어요.

그래서 뭐가 바뀌었냐면 — 비포 / 애프터예요

🔴 BEFORE (감으로 만든 버전)

🟢 AFTER (로나랑 뜯어고친 버전)

AI 1명이 메일·CRM·녹취 순차로 다 읽고 혼자 종합

조사원 3명 병렬로 읽고 → 반장 1명이 종합

숫자 안 맞아도 조용히 뭉갬

충돌은 [확인필요]로 표시 → 사람에게

모르는 값도 그럴듯하게 채움

검증 원장으로 미확정을 대놓고 공개

과거 딜 숫자가 슬쩍 섞임

"출처 대봐"로 오류 번짐 차단

그리고 이 재설계를 실제 스킬에 반영해서 팀 배포까지 끝냈어요. 이제 팀 누가 받아도 오케스트레이트 버전으로 돌아가요. (참고로 제안서 디자인·레이아웃은 안 바꿨어요 — 바뀐 건 '자료를 읽고 검증하는 앞단'이에요. 틀은 그대로 두고, 공정만 업그레이드한 거죠.)

결말 — 근데 이게… 정답 맞을까요?

여기까지 하고 꽤 뿌듯했는데, 문득 찜찜한 게 남았어요. "그래서 이렇게 만든 제안서가… 진짜 정답일까? 최고일까?" 구조는 튼튼해졌지만, 나온 결과물이 실제로 '좋은 제안서'인지는 또 완전히 다른 질문이더라고요.

🧩 다음 숙제 — ai-eval 접목. 만든 제안서를 AI가 채점·평가(ai-eval)해서 "정답"에 가까워지게 계속 굴려보는 거예요. 오케스트레이션으로 "잘 만드는 공정"을 세웠으니, 다음은 ai-eval로 "잘 만들어졌는지 판별하는 눈"을 붙일 차례예요. (차주 로나 실습 때 이걸 해볼까 고민 중이에요.)

알고 보니 저, 이미 오케스트레이션 하고 있었어요. 로나가 이름표를 붙여주고 허술한 데를 조여줬을 뿐이죠. 진짜 재미는 이제부터예요 — "잘 만들었나"를 따지는 ai-eval이요.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.07.16

오케스트레이션이라는 이름을 몰랐을 때도 이미 그 구조로 일하고 계셨다는 게 재밌었어요. 조사원 3명이 병렬로 읽고 반장 1명이 종합하는 구조로 바꾸신 것, 그리고 검증 원장으로 "6개 중 4개 미확정"을 그대로 드러내신 부분이 인상 깊었어요 — 조용히 뭉개지 않고 [확인필요]로 사람에게 넘기는 설계라 실전에서 진짜 쓸모 있어 보여요.

"출처 대봐"로 오류 번짐을 막는 것도, 말로만 하지 않고 A/B로 직접 돌려서 차이를 눈으로 확인하신 것도 좋았어요. 자기채점 분리를 짚어준 로나의 태클도 날카롭네요 — 만든 사람이 자기 결과물을 채점하지 않는다는 원칙, 다음에 ai-eval 붙이실 때도 꼭 지켜지면 좋겠어요.

고롱고롱… 감으로 하던 걸 이름 붙이고 하나씩 뜯어보는 과정 지켜보는 재미가 있었어요 🐾

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기