본문으로 건너뛰기

에이전트 부대를 향해 — cys(자비스) 체계로 한 사이클 돌려본 기록

HHY

2026.10.08

"맡기고 검토"가 아니라 "목표와 지침만 주고 알아서"

최종적으로 만들고 싶은 건 ‘내가 작업을 한 단계씩 맡기고, 결과를 일일이 검토한 뒤, 다시 다음 단계를 지시하는 방식’이 아닌, 목표와 지침만 주면 에이전트들이 서로 소통하며 결과물을 완성해 오는 ‘에이전트 부대’였다.

이게 가능하려면 무엇이 필요한지 감이 잘 안잡혔는데, cys(자비스)라는 멀티 에이전트 오케스트레이션 프로그램을 내 컴퓨터에 설치하고, 실제 작업 하나를 맡긴 뒤 한 사이클을 돌려보며 “이 체계가 실제로 어떻게 동작하는지” 파악해볼 수 있었다.

1. 부서(팀) 기동

“너는 마스터야. 이제부터 부서를 만들 거야.”를 시작으로 여러 CLI 에이전트 프로세스를 띄운다.

master, cso, worker, reviewer 까지 총 5개 노드가 각각 터미널 세션으로 실행됐고, 서로 소켓을 통해 메시지를 주고받을 수 있는 상태가 된다.

2. 실제 작업 위임

기존에 업무로 작업하던 WBS 파일을 활용하여 ‘테이블목록서 Excel 생성’을 처리해보기로했다.

목표, 작업 범위, 성공 기준, 수정하면 안 되는 파일 등을 담은 작업 티켓을 만들고 이를 worker의 입력 큐에 넣는 구조였다.

흥미로웠던 점은 티켓 생성 단계에서부터 몇 가지 안전장치가 들어가 있다는 것이다.

먼저 worker 프로세스가 실제로 살아 있는지를 결정론적으로 확인 후 모든 티켓에 다음 네 가지 원칙을 자동으로 삽입한다.

  • 품질 기준 준수

  • 할루시네이션 방지

  • 의도 합의

  • 임의 요약 금지

사람이 매번 프롬프트에 같은 주의사항을 적지 않아도 체계 자체가 이를 강제하도록 만든 것이다.

3. 설계를 더 정확히? 에이전트에게 맡기기? - 에이전트가 먼저 멈추고 물어본 순간들

작업 중 worker가 스스로 판단을 유보하고 질문을 올린 지점이 두 번 있었는데, 모두 설계에 누락이 있는 케이스였다.

  1. 복합 FK를 어떻게 표현할 것인가

    설계문서에 명시되지 않은 부분이었다. worker는 가능한 두 가지 안을 제시하고, 자신의 추천안까지 붙여 질문했다.

  2. 한 컬럼이 PK이면서 동시에 FK인 경우 식별자 셀을 어떻게 표시할 것인가

    이 역시 설계문서에 명확한 기준이 없었다.

또한 구현 과정에서 발견한 설계의 오류는 Null값 열이 설계문서에서 예상했던 Y/N이 아니라 실제 산출물에서는 NULL/NOT NULL 문자열로 표현되고 있었다는 것이다.

단순히 주어진 문서를 따라 구현하는 데서 끝난 것이 아니라, 설계문서와 실제 산출물 사이의 차이까지 확인해주었다.

LLM이 알아서 더 높은 품질의 결과물을 낼 수 있는 방법을 찾아야 하나? 아니면 사람이 더 개입하여 좋은 설계가 되게 할 것인가? => 이건 두 가지 방법을 모두 적용하면서 찾아야하는지 싶다.

4. 별도 reviewer에게 독립 검증 맡기기

구현한 worker가 자신의 결과물을 스스로 채점하지 않도록 별도의 reviewer 세션에 코드 리뷰를 맡긴다.

reviewer는 정해진 판정 형식을 따라야 했다.

ACCEPT / REVISE / BLOCK / ESCALATE

그리고 모든 주장에는 반드시 파일:줄번호 형태의 근거를 붙여야 했고, 임의의 점수 평가는 금지되어 있었다.

흥미로웠던 부분은 승인 절차였다.

reviewer는 바로 ACCEPT를 내리지 않고, 먼저 자신의 판정에 대한 반론 두 가지를 스스로 만들었다. 이후 실제 코드와 문서를 다시 확인해 그 반론이 성립하는지를 검증한 뒤 최종적으로 ACCEPT를 냈다.

단순히 “리뷰어도 괜찮다고 했다”가 아니라, 왜 괜찮다고 판단했는지를 추적할 수 있는 형태로 리뷰가 남았다.

느낀 점

첫째, 토큰은 생각보다 훨씬 빠르게 소모된다

현재 Pro 구독 3개를 동시에 사용하고 있는데도 체감상 토큰 소모 속도가 상당히 빨랐다.

에이전트 하나가 아니라 5개 노드가 각각 컨텍스트를 읽고 판단하고 메시지를 주고받기 때문에 당연한 결과이기도 하다.

결국 ‘에이전트 부대’를 상시 운영하려면 단순히 모델 성능만 볼 것이 아니라 노드 수와 작업 방식에 따른 비용 구조부터 이해하고 설계해야 한다.

둘째, 완벽하지 않아도 30분 안에 한 사이클이 끝났다

설계가 모호한 지점이 세 군데 있었고, 그때마다 내가 개입해서 판단해야 했다. 그럼에도

위임 → 질의응답 → 구현 → 검증 → 리뷰 → 문서화 까지의 전체 사이클이 약 30분 안에 끝났다.

사람이 혼자 했다면 설계문서를 다시 읽고, 샘플 파일을 찾고, 코드를 작성하고, 테스트하고, 리뷰하고, 문서를 갱신하는 데 훨씬 많은 시간이 필요했을 것이다.

아직 “목표만 주면 완전히 알아서 끝내는 단계”는 아니지만 하지만 적어도 사람이 모든 작업 단계를 직접 수행하는 구조에서, 사람은 판단이 필요한 지점에만 개입하는 구조로 이동할 가능성은 확인했다.

셋째, 가장 중요한 건 결과 생성이 아니라 검증 체계였다

내가 앞으로 해야 할 일은 아래이다.

에이전트가 낸 결과물을 어떻게 검증할 것인가를 설계하는 것

worker가 “완료했습니다”라고 보고했을 때 그 말을 단순 믿기만 한다면 에이전트가 틀렸을 때 사람이 그 사실을 알아낼 방법이 없다.

중요한 것은 “통과했다 / 통과하지 못했다”라는 결론 자체가 아니라, 그 에이전트가 어떤 근거를 가지고 그 판단을 내렸는가이다.

이번 reviewer는 모든 주장에 파일과 줄번호를 남겼고, 승인 전에 자신의 판단에 대한 반론까지 만들어 검증했다.

이런 evidence와 계측이 남아 있어야 사람이 나중에 판단 과정을 다시 추적할 수 있다.

이번 한 사이클을 돌려보고 나니, 에이전트 부대를 만드는 문제는 단순히 ‘일을 자동화하는 문제’가 아니라 ‘에이전트의 판단을 관측 가능하게 만드는 문제’에 가깝다는 생각이 들었다.

결과가 맞는지 검증할 수 있어야 하고, 왜 그런 판단을 했는지 근거를 추적할 수 있어야 하며, 문제가 생겼을 때 어느 단계에서 잘못됐는지를 다시 재구성할 수 있어야 한다.

결국 규모가 커질수록 중요한 것은 에이전트의 숫자가 아니라 검증 가능성과 관측 가능성(observability)이다.

한줄 소감

이번에는 한 사이클을 돌려보면서 어디에서 사람이 필요하고 어디를 시스템으로 만들 수 있는지 확인할 수 있었고, 더 잘 검증되는 에이전트 시스템을 만들어야 한다는 것이 더 명확해졌다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기