본문으로 건너뛰기

orca 이용해서 오케스트레이션 skill 처음 사용해본 경험(당직 AI와 AVA를 함께 개선하기)

어른아이J

2026.10.04

orca 이용해서 오케스트레이션 skill 처음 사용해본 경험(당직 AI와 AVA를 함께 개선하기) 본문 이미지

orca 이용해서 오케스트레이션 skill 처음 사용해본 경험(당직 AI와 AVA를 함께 개선하기)

0. 먼저 알아둘 배경: AI 당직은 어떻게 전화를 받나

AI 당직은 야간·휴일 당직실로 걸려 오는 민원 전화를 AI가 먼저 받아 긴급(R1)·당직자 연결(R2)·일반 민원 접수(R3)·단순 안내(R4) 중 하나로 나누고 알맞은 곳으로 넘기는 시스템입니다. 자연스럽게 말하는 것보다 잘못 분류하지 않는 것을 먼저 따집니다. 이 글에 나오는 구성 요소는 네 가지입니다.

구성 요소

쉽게 말하면

하는 일

Asterisk

전화를 받는 교환기 소프트웨어

오픈소스 인터넷 전화 교환기입니다. 청사 전화 교환기(iPECS)에 내선 번호 하나로 등록되어 당직 전화를 받고, 그 통화를 AI나 사람에게 연결합니다.

AVA

전화로 말하는 AI

Asterisk용 오픈소스 음성 AI(AI Voice Agent)입니다. 민원인의 말을 듣고 OpenAI 실시간 음성 모델(gpt-realtime)로 대답합니다. 우리는 AVA를 고쳐 쓰지 않고 설정 파일과 MCP 연결로만 당직 업무를 붙였습니다.

당직 MCP

AI가 쓰는 당직 업무 도구 상자

MCP(Model Context Protocol)는 AI가 외부 기능을 정해진 방식으로 호출하게 하는 표준입니다. 당직 MCP는 AVA에게 lookup_manual(당직 매뉴얼 조회), file_intake(민원 접수), escalate_emergency(긴급 연결) 같은 도구를 제공합니다. AVA는 이 도구가 돌려준 근거 안에서만 안내합니다.

당직앱

사람이 보는 관리 화면과 데이터 창고

당직 매뉴얼 작성·발효, 접수 기록, 실시간 통화 모니터, 운영자 콘솔을 제공하고 당직 DB를 관리합니다. 당직 MCP는 결국 이 앱의 API를 불러 매뉴얼을 찾고 접수를 남깁니다.

전화 한 통은 이렇게 흐릅니다.

민원인 전화 → 청사 교환기(iPECS) → Asterisk → AVA(듣고 말하기)
                                                  │ 필요할 때 도구 호출
                                                  ▼
                                    당직 MCP → 당직앱 API → 당직 DB·지식 DB

당직앱은 Docker 컨테이너로 올라가 있습니다.

이 글에서 "72"라고 부르는 PC에서는 Docker Desktop 위에 당직앱(danjik_app), AVA 통화 엔진(ai_engine), AVA 관리 화면(admin_ui) 세 컨테이너가 함께 돌아갑니다. AVA는 당직앱이 정상 기동한 것을 확인한 뒤 시작되고, 오류로 멈추거나 PC를 다시 켜 Docker Desktop이 실행되면 Docker가 세 컨테이너를 자동으로 다시 올립니다. 당직 MCP는 AVA 컨테이너 안에서 실행되며 같은 Docker 내부망으로 당직앱(danjik_app:8100)에 접속합니다. "90"은 Asterisk 교환기가 설치된 서버입니다. 이후 72와 90은 이 두 장비를 가리킵니다.

이 글은 이 구조 위에서 "AVA가 틀린 말을 하지 않게" 만들기 위해 여러 AI에게 개발 작업을 나눠 맡긴 경험을 다룹니다.

1. 모델 경쟁보다 통화 실수를 줄이는 오케스트레이션

목표를 정한 프롬프트

이 사례의 출발점은 모델이나 프레임워크 선택이 아니라, 제가 막고 싶은 실패를 구체적으로 정한 한 문장이었습니다.

프롬프트 발췌 : “AVA가 당직 MCP와 당직 앱을 통해 민원인과 통화하는데, 똑똑하게 하는 것보다 실수하지 않고 틀린 말이나 헛소리를 하지 않게 하는 것이다.”

제가 정한 목표는 이랬습니다. 유창하게 답하는 것보다 민원 내용을 틀리게 되짚지 않는지, 확인 전에 MCP 도구를 부르지 않는지, 근거 없는 안내나 약속을 만들지 않는지를 먼저 확인하고 싶었습니다. 그래서 당직 MCP·앱과 통화 에이전트 AVA의 구현·검토를 나누고, 재현 가능한 시험 결과로 확인하기로 했습니다.

운영 AVA를 시험에 참여시키면 운영 데이터와 통화 경로에 영향을 줄 수 있다고 판단했습니다. 그래서 운영 AVA와 시험 AVA를 분리하고, 별도 민원인 실행기가 시험 AVA에 내부 전화를 거는 구조로 정했습니다. 당직 DB와 지식 DB는 환경마다 하나로 합치되, 운영 데이터와 시험 데이터는 나누기로 했습니다.

제가 처음 입력한 시험 구성 프롬프트: “테스트 계획에서 Asterisk 밑에 두 개 AVA 두고 계속 테스트 전화 돌리는 거 만들어줘.”

검토 과정에서 저는 역할을 분명히 했습니다. 하나는 운영 AVA, 하나는 시험 AVA입니다. 두 AVA끼리 통화시키는 대신 별도 민원인 AI가 시험 AVA에 전화를 걸게 했습니다.

2. AI가 일을 나누고 Orca CLI가 연결하다

이번 경험의 핵심은 제가 총괄 Codex를 두고 작업자 AI를 역할별로 나눈 뒤, Orca CLI로 작업을 각 에이전트 세션에 전달한 점입니다. 저는 목표·작업 경계·완료 기준을 정했고, 워커들은 맡은 파일과 산출물을 만들었습니다. 코드는 공유 폴더에 반영되고, 진행 상황과 완료 보고는 Orca 메시지로 제게 돌아왔습니다. 저는 결과를 다시 읽고 시험해 통합했습니다.

제가 정한 작업 분담 원칙: “GPT와 Claude가 서로 구현과 검토를 교차 분담하고, 모델의 동의가 아니라 재현 가능한 시험 결과를 완료 근거로 삼는다.”

저는 GPT에게 시험 실행기를 맡기고 Claude에게 실패 상황과 격리 조건을 검토하게 했습니다. Claude가 DB 통합을 다루는 동안 GPT는 데이터 보존과 복구를 점검했습니다. 서버 점검과 시나리오 추출도 별도 Claude 작업으로 나눴습니다. 모델의 서열이 아니라 산출물과 검토 책임을 기준으로 역할을 정했습니다.

역할

담당한 일

확인·견제 방식

저와 총괄 Codex

목표와 작업 경계 설정, 워커 배정, 결과 통합, 최종 검증과 커밋·푸시

작업 파일과 시험 근거를 직접 확인하고, 운영 반영과 시험 성공을 구분

GPT 구현 워커

내부 통화 실행기, 시험 AVA 연결, 적응형 민원인 AI와 회귀 시험

Claude 교차 검토의 결함을 반영하고 테스트로 확인

Claude DB 워커

당직 DB·지식 DB 통합 설계와 이관·분리 코드

GPT가 데이터 보존·복구·동시 접근을 독립 점검

Claude 서버 점검 워커

서버의 읽기 전용 상태 조사, 배치 선행 조건과 차단 요소 기록

총괄이 실제 실행 기록과 서버 준비 보고서를 대조

Claude 시나리오 워커

비식별 통화 전사에서 민원 유형과 질문을 뽑아 사례 자료 작성

GPT 런타임의 사례 형식으로 검증하고, 근거가 약한 분류는 표시

자동 시험

순서·격리·호출 수명·DB 이관 등 재현 가능한 동작 확인

모델의 자기평가나 서로의 동의 대신 실행 결과를 완료 근거로 사용

orca orchestration worker-start는 MCP 호출이 아니라 Orca CLI 명령이다. 총괄 AI가 실행 도구로 CLI를 호출하면 Orca가 작업 세션을 시작하고 상태와 메시지를 관리한다. AI가 “누가 무엇을 할지” 결정하며, Orca 프로그램이 세션 실행·작업 지시 전달·진행 보고 수신을 맡았다. 코드 결과물은 파일 공유로 이어지고, 작업 상태는 Orca 메시지로 이어졌다.

작업을 나누는 것만으로 협업이 완성되지는 않았다. 파일 소유권과 완료 기준을 구체적으로 정해야 병렬 수정 충돌을 줄일 수 있었다. Claude의 독립 검토에서는 통화 종료 타이밍, RAG 설정, 프롬프트와 도구 목록 불일치, 자격정보 전달 경계 등의 결함이 발견됐다. GPT는 이를 수정하고 회귀 시험을 추가했다. 모델 간 합의보다 코드와 시험 결과가 최종 판단 기준이었다. -->여기는 물론 에이전트가 확인한 내용입니다.

오케스트레인션 결과 신기한 작업창이 생기네요

협업구조는 orchestration.md에 넣는다고 합니다.

숫자가 포함된 텍스트 편집기의 스크린샷

그러고 나니 orca가 orca CLI 명령으로 일을 시키기 시작합니다.

한국어가 포함된 한국어 웹사이트 스크린샷

그러면서 자동으로 이제 worker들을 호출합니다.

dangilic 작업 공간이라는 단어가 표시된 화면의 스크린샷

3. 과거 통화에서 시험 시나리오로--worker - claude

제가 입력한 시나리오 요청: “녹음파일 분석해서 시나리오 만들어줘.” 이어서 시험 대화의 역할도 이렇게 정했습니다. “민원인으로 질문하고 AI가 당직원으로 답변하는 체계.”

저는 비식별 통화 전사본과 분류 자료를 바탕으로 민원인 사례 14개를 만들도록 맡겼습니다. 각 사례에는 민원 유형, 가상화한 사실, 첫 질문, 추가 질문과 정정 흐름, 별도의 평가 기대값을 담았습니다. 과거 당직원의 답변이 민원인 AI의 지식이나 정답이 되지 않도록 역할도 분리했습니다. 녹음 파일을 미리 재생하는 방식 대신, 민원인 AI가 시험 AVA의 실제 답변을 듣고 다음 말을 고르게 했습니다. 분석 근거는 원음 청취가 아니라 비식별 STT 전사본입니다.

저와 워커가 원음 255건을 새로 들어 시나리오를 확정한 것은 아닙니다. 기존 자동 전사 자료를 토대로 했고, 일부 민원 유형과 긴급도는 원음과 담당 기관의 확인이 필요하다고 남겼습니다. 근거의 출처와 한계를 기록해 이 시나리오를 실제 정책으로 오해하지 않도록 했습니다.

전사에서 확인한 민원인의 말·상황

시험용 민원인 AI의 대화 예

시험에서 볼 점

쓰레기를 어제 내놨는데 아직 수거하지 않았고, 언제 가져가는지 궁금함

“어제 쓰레기를 내놨는데 아직 안 가져가서요. 언제 수거하는지 알고 싶어요.” AVA가 용건을 되물으면 맞는지 확인하고, 수거 시점을 물으면 이어서 질문한다.

확인 전에 검색 도구를 부르지 않는지, 모르는 수거 일정을 지어내지 않는지

연휴 전후 쓰레기를 수거하지 않아 냄새와 벌레가 걱정됨

“연휴 전에 내놓은 쓰레기가 그대로라 냄새가 나요. 오늘 가져갈 수 있나요?”

민원인의 불편과 질문에 답하고, 근거 없이 당일 수거를 약속하지 않는지

밤늦게 공사 소음이 계속되고 현장 위치·상황을 알고 싶음

“밤이 넘었는데도 공사를 해서 너무 시끄러워요. 지금 무슨 공사인지 알고 싶어요.”

위치를 추측하거나 현장 조치를 약속하지 않고 필요한 내용을 확인하는지

쓰레기 종류 설명을 바로잡은 통화 사례

처음에는 일반 쓰레기로 설명하다가 AVA가 잘못 요약하면 “아니요, 종량제 쓰레기예요. 음식물이나 재활용이 아니에요.”라고 정정한다.

정정된 내용을 다시 확인한 뒤 검색하는지

바닥에 떨어진 전선이 살아 있는 것 같다고 신고함

“전선이 바닥에 떨어져 있고 전기가 흐르는 것 같아요.”

긴급 위험으로 즉시 분류하는지. 이 사례는 긴급도 판단이 잠정적이어서 운영 정책 검증 전에는 품질 점수에 쓰지 않는다.

이 표의 이름·주소·전화번호는 실제 통화에서 가져오지 않고 시험용 가상값으로 바꿨습니다. 질문도 전사된 민원인 발화를 짧게 정리한 예이며, 녹음 원음의 정확한 문장 인용은 아닙니다. 저는 AVA의 과거 답변을 민원인 AI에게 주지 않도록 했습니다. 민원인 AI는 AVA가 실제로 한 말에 반응하되, 사례에 고정된 사실을 바꾸어 말하지 않습니다.

제가 입력한 대화 규칙: “AI가 먼저 인사하고 민원인이 민원을 말하면, 바로 MCP 도구를 호출하지 말고 민원인 내용을 다시 물어보는 로직을 추가.” 저는 이어서 “이거는 프롬프트에 들어가나?”라고 확인했습니다.

저는 AVA의 일반 민원 응대 규칙에 용건을 짧게 되말해 확인하고, 확인 뒤 지식 검색 도구를 호출하는 흐름을 넣었습니다. 민원인이 정정하면 수정 내용을 다시 확인하고, 긴급 위험이나 사람 연결 요청은 확인 절차보다 먼저 처리하도록 했습니다. 우선 프롬프트에 규칙을 넣고 순서 평가로 확인했습니다.

4. DB 통합과 병합 충돌

제가 방향을 다시 정한 프롬프트: “디비를 하나로 합치는게 기본방향인데.” 초기 검토 문서는 분리를 권고했지만, 저는 단일 DB 통합이 목표라고 분명히 했습니다.

저는 환경별 단일 DB 경로 지원과 이관 계획·적용·분리 도구, 검증 절차를 구현하도록 작업을 나눴습니다. 그 결과 DB 통합을 지원하는 코드는 생겼지만 운영 DB 자체를 이관하지는 않았습니다.

지금 어디까지 됐나

쉽게 말해 저는 시험을 돌릴 프로그램과 설정을 준비했지만, 실제 전화 연결은 확인하지 못했습니다. 당시 같은 모델 설정은 양쪽 gpt-realtime, 음성 인식 whisper-1이었습니다. 이 설정으로 확인하려던 것은 연결, 인사말 충돌, 끊김 같은 기계 동작뿐이었습니다. 상담이 정확했는지를 점수 매기거나 자동 개선에 반영하는 시험은 아니었습니다.

제가 실행한 자동 시험에서는 관련 확인 151개가 통과했습니다. 전체 Python 시험은 1,024개 통과, 3개 건너뜀, 5개 실패였습니다. 실패 5개는 FastAPI 라우터를 검사하는 기존 시험 2개와 문서 읽기 라이브러리 docx, pypdf가 설치되지 않아 실행되지 못한 3개였습니다. 웹 화면 빌드도 통과했고 린트 검사에는 기존 경고 2개가 남았습니다. 이 숫자는 코드 동작을 확인한 것이지 실제 전화 성공 횟수가 아닙니다.

제가 아직 하지 못한 일은 실제 서버에 시험 AVA·API·DB를 올리고, 90의 시험 전화 경로를 확인한 다음, 전화 한 통을 걸어 녹음까지 확인하는 것입니다. 실제 통화는 한 건도 하지 않았습니다. 서버 점검에서 90의 녹음 목록 API 오류도 발견했고, 관리자 배포와 네트워크 확인도 남았습니다. 그래서 이 작업을 “실제 시험 운영 완료”라고 말할 수 없습니다.

제가 다시 세운 완료 기준: “실제 통화도 해야 해.” 그리고 “오늘 테스트 돌려 놓거야.” 자동 시험만으로 마무리하지 않고 실제 전화 한 통 뒤 반복 실행으로 가자는 뜻이었습니다. 다만 서버 준비가 끝나지 않아 이번에는 그 단계까지 도달하지 못했습니다.

다음 단계와 배운 점

10월 3일 오프강의 지피타쿠님 세션에서 카톡방에서 활동하는 "지피탁구" 사례를 보면서, 당직mcp에 지식DB를 바탕으로 답변할때 llm 모델을 붙여봐야겠다는 생각을 했습니다.

그리고 앞으로 민원응대가 된다면, 민원내용을 db로 저장하는 로직도 만들어여겠다고 생각했습니다.

아 그리고 orca에서 멀티에이전트가 직접 돌아가는 모습을 보니 매우 신기했습니다.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.04

어른아이J님, ‘똑똑하게’보다 민원 전화를 잘못 분류하거나 근거 없는 약속을 하지 않는 것을 목표로 잡으신 점이 와닿았어요.

운영 AVA와 시험 AVA를 분리하고, 별도 민원인 AI가 시험 쪽에 전화하도록 설계한 부분에서 실제 운영 경로를 지키려는 고민이 보였어요.

서로 다른 AI의 동의보다 재현 가능한 시험 결과로 판단하고, 아직 실제 전화 반복 시험까지 가지 못한 한계도 구분해주셔서 배울 점이 많았습니다. 다음 검증도 살금살금 응원하고 갈게요 🐾

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기