본문으로 건너뛰기

AI 에이전트를 여러 명 붙이면 정말 팀이 될까? — CYS Terminal로 나만의 AI 팀 하네스 구축하기

엔지니어H

2026.10.22

AI 팀 하네스 구축: CYS Terminal 활용 사례

핵심 도구: CYS Terminal(JARVIS) × Codex/Claude Code
핵심 키워드: Multi-Agent, Master, CSO, Worker, Reviewer, 파일 기반 인계, 독립 검수

AI 에이전트 팀 구성의 차이점

AI 코딩 에이전트가 발전하면서 여러 에이전트를 병렬로 실행하는 일이 쉬워졌습니다.

하지만 에이전트가 많아진다고 해서 반드시 업무 품질이 좋아지는 것은 아닙니다.

예를 들어 다음과 같은 문제가 생길 수 있습니다.

  • 여러 에이전트가 같은 파일을 수정한다.

  • 작업을 완료했다고 보고하지만 실제 산출물이 없다.

  • 구현한 에이전트가 자기 결과물을 스스로 합격 처리한다.

  • 환경 오류와 결과물의 품질 문제를 구분하지 못한다.

  • 긴 대화 때문에 이전 결정 사항이 사라진다.

  • 검수와 재수정이 반복되면서 비용만 증가한다.

이런 문제의 핵심은 모델의 지능뿐 아니라 업무를 어떻게 분배하고 검수할지에 관한 운영 구조에 있습니다.

여기서 생각해 볼 수 있는 접근이 CYS Terminal을 활용한 AI 팀 하네스입니다.

단순히 AI 에이전트를 여러 명 실행하는 것이 아니라, 실제 조직처럼 책임과 결정 권한을 구분하는 것입니다.

반복적인 AI 업무의 팀 운영 시나리오

하나의 AI 에이전트에게 다음 요청을 했다고 가정하겠습니다.

기존 AI 리서치 하네스의 오류를 찾아 개선하고, 테스트해서 문제가 없으면 최종 결과를 보고해줘.

이 요청에는 서로 다른 업무가 섞여 있습니다.

문제 분석, 구현, 환경 관리, 테스트, 품질 평가, 최종 승인입니다.

하나의 에이전트가 모두 수행할 수도 있지만, 작업이 복잡해지면 책임이 불분명해질 수 있습니다.

이를 해결하기 위해 네 가지 역할을 나눕니다.

CYS Terminal의 네 가지 역할

역할

주요 책임

핵심 산출물

Master

목표·작업 분해·위임·최종 인수

작업 브리프, 인수 기록

CSO

환경·인증·비용·장애 관리

환경 보고서, 비용 장부

Worker

조사·개발·실행·자체 테스트

실제 결과물, 실행 보고서

Reviewer

독립적인 품질 검수

ACCEPT / REVISE / REJECT

여기서 중요한 것은 역할의 이름이 아니라 역할별 책임과 권한을 명확하게 제한하는 것입니다.

Master — 팀의 최종 책임자

Master는 사용자 요구를 해석하고, 구체적인 작업으로 나눕니다.

예를 들어 기존 리서치 하네스의 논문 스크리닝 기능을 개선한다면 다음과 같이 지시합니다.

Open optionsauto

목표:
의료 LLM과 관련성이 낮은 논문이
추천 후보에 포함되는 문제를 개선한다.

입력:
- 기존 Research Survey 소스
- 실패 사례 모음
- 평가 기준

작업:
1. 기존 오류 유형 분류
2. 개선 방안 정의
3. Worker에게 구현 위임
4. Reviewer 결과 검토

완료 조건:
- 기존 테스트 통과
- 동일 평가셋에서 성능 비교
- 치명적 오류 미발견

주의:
운영본 반영은 사용자 승인 이후 진행

Master는 직접 모든 파일을 수정하는 역할이 아닙니다.

작업을 배정하고, 수행 근거를 확인하고, 최종적으로 무엇을 인수할지 결정합니다.

CSO — 환경과 비용 담당

CSO는 코드나 콘텐츠의 품질을 평가하는 역할이 아닙니다.

검색 API가 정상 작동하는지, API 인증이 실패하지 않았는지, 실행에 필요한 디스크와 GPU가 충분한지, 비용 한도를 초과하지 않았는지 등을 확인합니다.

예를 들어 Worker가 "논문 검색 결과가 0건"이라고 보고했을 때, 실제로 관련 논문이 없는 것인지 API 접근에 실패한 것인지 구분하는 데 도움을 줍니다.

Worker — 실제 작업 수행자

Worker는 Master가 작성한 작업 브리프를 받아 구현합니다.

중요한 점은 "완료했습니다"라는 메시지보다 무엇을 변경하고 어떤 테스트를 했는지 증거를 남기는 것입니다.

Open optionsauto

# WORK REPORT

작업 ID: BRIEF-001

## 수정한 파일
- skills/discover/...
- tests/...

## 수행한 작업
- 후보 논문 관련성 필터 수정
- DOI 검증 조건 추가

## 테스트
- 실행 명령:
- 테스트 결과:
- 로그 경로:

## 미해결 문제
- 원문 접근이 제한된 논문
- 추가 검증이 필요한 기준

여기서 Worker의 자체 테스트 통과는 최종 인수와 다릅니다.

Reviewer — 독립 검수자

Reviewer는 Worker의 결과를 독립적으로 평가합니다.

예를 들어 후보 논문 추천 기능을 수정한 경우, Reviewer는 다음을 확인할 수 있습니다.

  • 실제 논문이 존재하는가?

  • 논문 제목과 DOI가 일치하는가?

  • 연구 질문과 관련된 논문인가?

  • 원문을 확인하지 않았는데 확인했다고 주장하지는 않는가?

  • 기존 테스트에서 성능이 퇴화하지는 않았는가?

판정은 세 가지로 구분합니다.

ACCEPT: 수용 기준을 만족하여 인수 가능

REVISE: 수정 가능한 결함이 존재하며 재검수가 필요

REJECT: 핵심 요구사항을 만족하지 못하거나 중대한 문제가 존재

Reviewer는 직접 코드를 수정하기보다, 문제 위치와 재현 방법을 Master에게 보고합니다.

그다음 Master가 결함을 정리해 Worker에게 다시 위임합니다.

이렇게 하면 작업하는 역할과 평가하는 역할이 분리됩니다.

AI 팀 구성 방법

CYS Terminal에서 업무 영역에 해당하는 부서를 만듭니다.

예를 들어 리서치 자동화 업무라면 Research Survey라는 부서를 설정할 수 있습니다.

부서는 업무 영역이고, Master·CSO·Worker·Reviewer는 그 안에서 맡는 역할입니다.

설치 버전마다 UI와 설정 방식이 다르므로, 부서 생성 이후 실제 설정 파일과 역할별 접근권한이 제대로 반영되었는지 확인해야 합니다.

팀 구성 요청 예시

Open optionsauto

Research Survey 업무를 담당하는 AI 팀을 구성해줘.

역할은 다음과 같이 나눠줘.

Master:
- 요구사항 해석
- 작업 분해와 배정
- 최종 인수 및 보고

CSO:
- API, 인증, 환경, 비용 점검
- 장애 보고
- 콘텐츠 품질 판정 금지

Worker:
- 실제 조사와 구현 수행
- 변경 파일 및 테스트 로그 기록
- 자체 완료 선언만으로 최종 인수 불가

Reviewer:
- 결과물 독립 검수
- ACCEPT/REVISE/REJECT 판정
- 직접 수정 금지

운영 원칙:
- 모든 작업은 파일 경로로 인계
- 승인 없는 유료 호출과 외부 발행 금지
- 무한 재시도 금지
- 필요할 때만 Reviewer 호출

이 요청은 특정 CYS 버전의 공식 명령이 아니라 팀 설정을 위한 자연어 지시 예시입니다.

파일 기반 업무 인계의 중요성

여러 AI 세션이 함께 작업하면 대화 맥락이 길어지고, 세션마다 서로 다른 정보를 갖게 됩니다.

이때 메시지만으로 작업을 인계하면 이전 결정을 누락할 수 있습니다.

그래서 다음과 같은 파일 구조를 사용할 수 있습니다.

Open optionsauto

research-team/
├─ PLAN.md
├─ AGENTS.md
├─ requirements/
│  └─ seed.yaml
├─ briefs/
│  └─ BRIEF-001.md
├─ reports/
│  └─ WORK-001.md
├─ reviews/
│  └─ REVIEW-001.md
├─ logs/
│  ├─ ENV-001.md
│  └─ COST_LEDGER.md
├─ evaluations/
│  └─ AB-001.md
└─ handoffs/
   └─ CONTINUE_HERE.md

이 구조는 교육용 권장안이며 제품이 강제하는 공식 디렉터리 구조는 아닙니다.

실제 업무 인계는 다음처럼 진행합니다.

Open optionsauto

사용자
  ↓ 목표·승인 범위
Master
  ├──→ CSO
  │    환경·비용 점검
  │
  ├──→ Worker
  │    작업 수행·증거 기록
  │
  └──→ Reviewer
       독립 평가
  ↓
Master
최종 인수·보고
  ↓
사용자

여기서 가장 중요한 규칙은 수행 결과와 판정 근거를 파일로 남기는 것입니다.

메시지로 "작업했습니다"라고 보고하는 것보다, 변경된 파일과 테스트 로그를 확인할 수 있어야 합니다.

Ouroboros와의 결합 가능성

앞선 사례의 Ouroboros를 활용하면 요구사항을 더 명확하게 정의할 수 있습니다.

Open optionsauto

PLAN.md
   ↓
Ouroboros Interview
   ↓
Seed YAML
   ↓
CYS Master
   ↓
작업 분해
   ↓
Ouroboros Run 또는 Worker
   ↓
테스트 결과
   ↓
Reviewer
   ↓
최종 인수·피드백

주의할 점은 CYS와 Ouroboros가 모두 작업을 관리하는 구조를 가질 수 있다는 것입니다.

Ouroboros Run이 이미 내부적으로 구현과 테스트를 수행한다면, CYS Worker가 동일한 Seed를 다시 실행할 필요는 없습니다.

실제 구현 경로는 하나로 정하고, CYS는 업무의 책임과 최종 인수 기준을 관리하도록 설계할 수 있습니다.

이렇게 하면 중복 호출과 불필요한 비용 증가를 줄일 여지가 있습니다.

역할 구성의 유연성

처음부터 모든 역할을 구성할 필요는 없습니다.

규모

구성

적합한 상황

1역할

단일 에이전트

짧은 구현, 단순 리서치

3역할

Master + CSO + Worker

환경 의존성이 있는 반복 업무

4역할

Master + CSO + Worker + Reviewer

독립 검수가 중요한 업무

예를 들어 단순한 문서 변환 작업에서는 네 에이전트를 구성하는 것이 오히려 비효율적일 수 있습니다.

반대로 의료 분야의 근거 검증, 고객에게 전달하는 결과물, 코드 변경과 배포가 수반되는 작업에서는 독립 검수의 가치가 커집니다.

그렇다고 네 역할 구성이 항상 성능이나 비용 측면에서 우수하다고 단정할 수는 없습니다.

역할별 토큰 소비와 지연, 품질 차이를 실제로 측정해야 합니다.

AI 팀 하네스의 개선 방법

한 번 팀을 구축했다면 다음은 개선 단계입니다.

예를 들어 Reviewer가 반복적으로 다음과 같은 오류를 발견한다고 가정하겠습니다.

Worker가 논문 원문을 확인하지 않았는데 '원문 검증 완료'로 보고한다.

이때 매번 "다음에는 조심해"라고 지시하기보다는, Reviewer의 결함 보고를 바탕으로 Worker의 지침을 변경할 수 있습니다.

Open optionsauto

기존 오류 발견
    ↓
Reviewer의 결함 분류
    ↓
Master가 원인과 개선안 정리
    ↓
스킬·지침·테스트 변경
    ↓
같은 평가셋으로 재실행
    ↓
독립 검수
    ↓
채택 또는 보류

예를 들면 다음 규칙을 추가합니다.

Open optionsauto

원문 접근 여부를 다음 상태로 구분할 것.

- abstract_only: 초록만 확인
- full_text_accessed: 본문 접근
- full_text_verified: 핵심 주장과 표/본문 대조 완료
- inaccessible: 원문 접근 실패

원문 확인 상태가 검증되지 않았다면
'원문 정독 완료'라고 보고하지 말 것.

이후 같은 평가셋으로 기존 버전과 개선 버전을 비교합니다.

품질이 개선되었는지, 다른 오류가 증가하지 않았는지, 추가 비용이 얼마인지 확인합니다.

이 과정에서 실패 사례가 다음 버전의 지침과 테스트로 축적됩니다.

컨텍스트 관리의 중요성

장시간 실행하는 AI 에이전트의 문제 중 하나는 맥락 관리입니다.

대화가 길어질수록 이전 요구사항이나 파일 경로가 섞일 수 있습니다.

이를 줄이는 방법은 모든 내용을 무조건 컨텍스트에 넣는 것이 아닙니다.

중요한 결정은 별도 파일로 고정하고, 다음 세션에서 그 파일을 다시 읽도록 합니다.

Open optionsauto

# CONTINUE_HERE

## 최종 목표
Research Survey 스크리닝 개선

## 참조할 명세
requirements/seed.yaml

## 현재 상태
- 구현 완료
- 자체 테스트 통과
- Reviewer 검수 대기

## 마지막 결과
reports/WORK-001.md

## 다음 행동
reviews/REVIEW-001.md 작성 요청

## 금지사항
- 운영본 자동 배포 금지
- 유료 API 무단 호출 금지

이처럼 맥락을 대화 내부에만 남기지 않고 파일로 외부화하면, 새로운 세션에서도 현재 상태를 확인할 수 있습니다.

다만 파일이 존재한다고 해서 항상 최신 상태라는 의미는 아니므로 Git 상태와 실제 산출물을 함께 확인해야 합니다.

멀티 에이전트 팀 하네스의 핵심 인사이트

멀티 에이전트의 가치는 에이전트의 개수가 아니라 업무의 책임 구조를 어떻게 설계했는지에 달려 있습니다.

기존 방식이 하나의 AI에게 모든 일을 맡기는 것이었다면, 팀 하네스는 다음을 분리합니다.

  • 누가 목표를 결정하는가?

  • 누가 실제로 실행하는가?

  • 누가 환경과 비용을 관리하는가?

  • 누가 결과물을 독립적으로 검수하는가?

  • 누가 최종 인수와 배포를 승인하는가?

그리고 이 모든 과정은 재현 가능한 파일과 평가 결과로 연결됩니다.

궁극적으로 만들고 싶은 것은 에이전트가 많은 시스템이 아닙니다.

내가 모든 세부 작업을 직접 확인하지 않더라도, 무엇이 완료됐고 무엇이 검증되지 않았는지 알 수 있는 AI 팀 운영 체계입니다.


함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기