본문으로 건너뛰기

내 에이전트 팀의 생산과 검수 분리 점검

Fri-mer

2026.10.07

내 에이전트 팀의 생산과 검수 분리 점검 본문 이미지

소개

제가 정의해 둔 에이전트 팀이 실제로 어떻게 불렸는지 두 달 치 로그로 세어 보니, 검수 에이전트 14개 중 12개는 한 번도 불리지 않았고 역할 지침이 자동으로 들어가는 자비스에서는 리뷰어가 가장 많이 불렸습니다. 리뷰어나 검수 에이전트를 만들어 두었는데 실제로 쓰이고 있는지 확인해 보고 싶은 분이 읽으면 좋겠습니다.

23기에 엔지니어H 스터디장의 결과물검수 스터디를 수료했습니다. 3주차에는 강의에서 소개한 자비스(CYSJavis 터미널)로 마스터, 워커, 리뷰어 둘, CSO를 띄워 홈페이지 개편을 끝냈고, 그때 "마스터는 직접 구현하지 않는다", "리뷰어는 벤더를 다르게 둔다"를 운용 가이드에 적어 두었습니다. 같은 스터디장이 이번 기수에 "AI 팀 하네스"를 제목으로 걸었으니, 그 팀이 두 달 뒤에 실제로 일하고 있는지 볼 때가 됐다고 생각했습니다.

1주차 강의가 팀을 세 가지 기준으로 설명했습니다.

강의 기준

강의에서 나온 말

역할을 나눈다

마스터, CSO, 워커, 리뷰어. 마스터가 CSO에게, CSO가 워커에게 지시하고, 리뷰어가 워커의 결과물을 점검해 돌려준다(00:26:04)

만든 쪽과 검토하는 쪽을 나눈다

"워커가 일한 것에 대해 제3자가 검토하는 리뷰의 과정을 기본적으로 돌린다"(00:14:46). 편성 표에서 리뷰어는 "독립 검수. 고치지 않고 판정"이고, CSO는 "품질 승인은 하지 않음"이다

리뷰어는 다른 모델로

편성 표에서 마스터와 워커는 Codex(GPT-6), CSO와 리뷰어는 Claude Code(Opus 5.5)다. 새 부서의 리뷰어 창이 "CSO와 나는 같은 모델이라 같은 실수를 놓칠 수 있다"고 스스로 적었다

자비스가 무거우면 쓰지 않아도 된다는 말도 있었습니다. "검수 기준을 MD 파일로 만들어 두고 서브에이전트가 그것을 참조해 검수하게 하는" 방식입니다(01:49:35). 제가 평소 Claude Code에서 쓰는 방식이 바로 이것이라, 자비스와 Claude Code 서브에이전트 두 쪽을 같은 기준으로 재기로 했습니다.

화요일 에이전트하네스 사례글은 Aside와 Claude Code를 하네스 5요소로 대조했고, 수요일 CTO 편은 자동 개발 파이프라인을 봅니다. 이번 글은 그 둘과 겹치지 않게 팀원이 누구로 정의되어 있고, 실제로 누가 불렸는지만 셉니다.


진행 방법

사용 도구: Claude Code, Python 3, 자비스(cys) 전달 기록

범위

대상

위치

기간

에이전트 정의

~/.claude/agents/ 전역 32개, 프로젝트 .claude/agents/ 66개

2026-10-04 현재

Claude Code 세션 로그

~/.claude/projects/ 최상위 27개, 서브에이전트 230개

Agent 호출이 남은 2026-08-30 ~ 10-03 (UTC)

자비스 계정 세션 로그

~/.cys/claude/projects/ 2개

9/26, 10/4

자비스 전달 기록

~/.cys/state/delivery-base.jsonl

2026-08-05 ~ 10-03

이 글을 만드는 현재 세션은 집계에서 뺐습니다. 로그에는 대화 내용이 있으니 도구 이름과 에이전트 종류만 읽고 내용은 출력하지 않았습니다. 프로젝트 전용 에이전트는 이름이 업무 내용을 드러내서 "프로젝트 A" 식으로 묶었습니다.

Step 1. 정의된 팀원 수

강의의 네 역할에 맞춰 에이전트 이름으로 나눴습니다. 이름에 critic, reviewer, checker, auditor, adjudicator, fact-check가 들어가면 검수, orchestrator와 manager는 지휘, 나머지는 생산입니다.

REV = re.compile(r'critic|reviewer|checker|auditor|adjudicator|fact-check|verif')
ORC = re.compile(r'orchestrator|manager')
defs = glob(f'{HOME}/.claude/agents/*.md') + glob(f'{HOME}/*/.claude/agents/*.md') \
     + glob(f'{HOME}/projects/*/.claude/agents/*.md')

구분

고유 이름

정의 파일

98개 (전역 32, 프로젝트 66)

고유 이름

78개

생산

61개

검수

14개 (paper-critic, reviewer, venue-reviewer, readiness-reviewer, implementation-reviewer, design-system-reviewer, data-gate-auditor, style-critic, longform-critic, fact-checker 외 프로젝트 전용 4개)

지휘

3개 (paper-orchestrator, project-manager, 프로젝트 전용 1개)

강의 기준으로 보면 팀은 갖춰져 있습니다. 리뷰어 역할만 14개가 있고, 그중에는 내부용(paper-critic)과 외부 심사 흉내(venue-reviewer)처럼 역할을 더 잘게 나눈 것도 있습니다. CSO처럼 도구, 인증, 자원을 점검하는 역할은 따로 두지 않았습니다.

Step 2. 실제로 불린 팀원

세션 로그에서 Agent 도구 호출의 subagent_type을 셌습니다.

for c in msg['content']:
    if c.get('type') == 'tool_use' and c.get('name') in ('Agent', 'Task'):
        st = (c.get('input') or {}).get('subagent_type') or 'general-purpose'
        calls.append(dict(ts=d.get('timestamp'), sess=sess, st=st))

구분

호출

비율

범용(general-purpose 116, Explore 13)

129회

55.1%

생산

95회

40.6%

검수

10회

4.3%

지휘

0회

0%

합계

234회

이름 있는 전역 에이전트는 researcher가 23회로 가장 많이 불렸고, manuscript-writer 8회, literature-scout 7회, editor 7회가 뒤를 이었습니다. 검수 14개 가운데 둘만 한 번 이상 불렸습니다. 프로젝트 A의 점검 에이전트가 6회, paper-critic이 4회입니다. reviewer, venue-reviewer, readiness-reviewer를 포함한 나머지 12개는 0회입니다. 지휘 에이전트 3개도 0회였습니다.

정의된 검수 에이전트 14개의 호출 횟수

범용 호출 129회 가운데 작업 설명에 검수, 검토, 리뷰, 검증, 점검, review, verify, audit, check가 들어간 호출은 7회였습니다. 이름 없는 팀원에게 검수를 맡긴 경우까지 합쳐도 17회입니다.

Step 3. 한 세션 안의 생산과 검수

강의의 핵심은 워커가 만든 것을 제3자가 보는 것입니다. 세션 단위로 묶었습니다.

by = defaultdict(set)
for c in calls: by[c['sess']].add(role(c['st']))
prod = [s for s, v in by.items() if '생산' in v]
paired = [s for s in prod if '검수' in by[s]]

항목

값

Agent를 부른 세션

16개

생산 에이전트를 부른 세션

10개

그중 검수 에이전트도 부른 세션

4개

지휘 에이전트를 부른 세션

0개

짝이 맞은 4개 세션 중에서는 프로젝트 A가 가장 뚜렷합니다. 작성 에이전트가 11회 불렸고 같은 프로젝트의 점검 에이전트가 6회 따라붙었습니다. 그 프로젝트는 작성과 점검을 처음부터 짝으로 정의해 둔 곳입니다. 나머지 6개 세션에서는 생산 에이전트에게 일을 시키고 검수 역할 에이전트는 부르지 않았습니다.

Step 4. 마스터의 직접 작업

Claude Code에서 마스터는 메인 세션, 곧 제가 대화하는 창입니다. 23기에 "마스터가 구현에 손대면 다른 노드의 회신을 못 받아 조직이 멈춘다"고 적었으니, 에이전트를 부른 세션에서 파일 수정 호출(Edit, Write)이 어디서 났는지 셌습니다.

if n in {'Edit', 'Write', 'NotebookEdit', 'MultiEdit'}:
    stat[sess]['sub_write' if is_sub else 'main_write'] += 1

항목

값

메인 세션의 파일 수정

661회 (53.8%)

서브에이전트의 파일 수정

568회

메인이 한 번도 직접 고치지 않은 세션

16개 중 4개

마스터가 일의 절반 이상을 직접 했습니다. Claude Code의 서브에이전트는 모두 Claude 모델이라, 리뷰어를 다른 회사 모델로 두는 세 번째 기준은 이 구조에서는 처음부터 지킬 수 없습니다. 호출 234회의 모델 지정은 상속 162회, opus 63회, sonnet 9회였습니다.

Step 5. 자비스의 역할별 기동 기록

자비스는 노드를 띄울 때 역할 지침(MASTER ABSOLUTE DIRECTIVE 등)을 터미널에 붙여 넣고, 그 기록이 전달 로그에 남습니다. 지침 주입을 역할별, 날짜별로 셌습니다.

m = re.search(r'#\s*([A-Z]+) ABSOLUTE DIRECTIVE', d.get('preview') or '')
if m and not d.get('parent'):
    by_date[kst(d['ts_epoch'])][m.group(1)] += 1

날짜 (KST)

마스터

CSO

워커

리뷰어

8/5

1

8/8

1

1

1

8/9

3

3

7

8/23

2

2

5

7

9/1

1

1

5

9/26

1

5

10/3

1

1

2

4

합계

5

8

12

29

자비스 역할 지침 주입 횟수, 날짜별

자비스에서는 리뷰어가 가장 많이 불렸습니다. 워커 12회의 2.4배입니다. 같은 사람이 같은 두 달 동안 일했는데, Claude Code에서는 검수가 호출의 4.3%이고 자비스에서는 역할 지침 주입의 54%(29/54)입니다. 리뷰어 29회 중 직전 기동 명령이 codex였던 것이 10회, claude가 9회, 확인되지 않은 것이 10회였습니다(직전 명령으로 추정한 값입니다).

다만 자비스를 쓴 날은 7일이고, 23기 마지막 강의(8/12) 이후로는 4일(8/23, 9/1, 9/26, 10/3)입니다. 자비스 계정 쪽 세션 로그는 2개이고 그 안의 서브에이전트 호출은 0회였습니다.

Step 6. 23기 계획의 실행 여부

23기 4주차 사례글 끝에 "REVIEWER_DIRECTIVE.md에 검사기 경로를 한 줄 추가한다"고 적었습니다. 원고 수치를 근거와 대조하는 스크립트를 리뷰어가 참조하게 하려던 것입니다.

grep -c "verify_manuscript_numbers" ~/.cys/pack/directives/REVIEWER_DIRECTIVE.md   # 0
grep -rl "verify_manuscript_numbers" ~/.cys                                       # (없음)
stat -f '%Sm' -t '%Y-%m-%d' ~/.cys/pack/directives/*.md                            # 9개 모두 2026-08-05

한 줄도 들어가지 않았습니다. 역할 지침 파일 9개는 설치한 8월 5일 이후 한 번도 바뀌지 않았습니다. 강의가 2주차에 다룰 우로보로스도 which ooo, which ouroboros 모두 없어 아직 설치 전입니다.


결과와 배운 점

측정 결과

항목

값

정의된 에이전트

고유 78개. 생산 61, 검수 14, 지휘 3

Claude Code Agent 호출

234회. 범용 129, 생산 95, 검수 10 (4.3%), 지휘 0

한 번이라도 불린 검수 에이전트

14개 중 2개

생산과 검수가 한 세션에 있던 경우

생산 세션 10개 중 4개

메인 세션(마스터)의 직접 파일 수정

1,229회 중 661회 (53.8%)

자비스 역할 지침 주입

54회. 리뷰어 29, 워커 12, CSO 8, 마스터 5

자비스를 쓴 날

7일. 23기 마지막 강의 뒤 4일

23기 계획(리뷰어 지침에 검사기 경로)

0줄. 지침 파일 9개 모두 8/5 이후 그대로

Claude Code와 자비스의 검수 역할 비중

배운 점

  1. 검수 에이전트를 정의하는 것과 부르는 것은 다른 일이었습니다. 리뷰어 역할만 14개를 만들었는데 12개는 0회입니다. 정의할 때마다 "이제 검수가 붙었다"고 생각했지만, 실제로는 마스터 역할인 제가 부르기를 잊으면 그대로 넘어갔습니다. 강의가 리뷰어를 팀의 기본 과정으로 "돌린다"고 표현한 이유가 숫자로 보였습니다.

  2. 구조가 강제하는 곳에서는 리뷰어가 가장 많이 불렸습니다. 자비스는 부서를 만들 때 리뷰어 노드가 함께 뜨고 지침이 자동으로 들어갑니다. 그 결과 리뷰어 주입이 워커의 2.4배였습니다. Claude Code에서는 같은 역할이 호출의 4.3%입니다. 차이는 제 의지가 아니라 구조에서 났다고 봅니다. 다만 두 기록은 측정 단위(노드 기동과 서브에이전트 호출)가 달라 비율을 그대로 견줄 수는 없습니다.

  3. 짝으로 정의한 프로젝트만 짝으로 불렸습니다. 작성과 점검을 처음부터 한 폴더에 짝으로 둔 프로젝트 A에서만 작성 11회에 점검 6회가 따라붙었습니다. 전역 검수 에이전트는 "필요하면 부르라"고 걸어 둔 것이라 필요를 판단하는 쪽, 곧 제가 빠뜨렸습니다. 강의가 말한 "검수 기준 MD를 서브에이전트가 참조"하는 가벼운 방식도, 그 서브에이전트를 부르는 순서가 고정되어 있어야 작동하리라 예상합니다.

  4. 마스터가 일의 절반 이상을 직접 했습니다. 23기 가이드에 "마스터는 직접 구현하지 않는다"를 규칙으로 적었는데, Claude Code 세션에서는 파일 수정의 53.8%가 메인에서 났습니다. 그 규칙은 자비스 안에서만 지켜졌습니다.

  5. 이름 없는 팀원이 가장 많이 일했습니다. 호출의 55.1%가 general-purpose와 Explore였습니다. 범용 에이전트는 역할 지침이 없으니 검수를 맡겨도 기준이 매번 달라집니다. 실제로 설명에 검수 계열 단어가 들어간 범용 호출이 7회 있었습니다.

시행착오

  • 처음에는 전역 에이전트 32개만 봐서 검수 호출이 4회(paper-critic뿐)로 나왔습니다. 프로젝트 .claude/agents/ 66개를 넣고 다시 세니 10회였습니다. 프로젝트 전용 점검 에이전트 6회가 빠져 있었습니다.

  • 두 기록의 기간이 다릅니다. Claude Code 로그는 가장 오래된 파일의 마지막 수정일이 9/8이고 Agent 호출은 8/30부터 남아 있습니다. 자비스 전달 기록은 설치일인 8/5부터 있습니다. 23기 3주차(8/8~8/9)에 자비스 노드들이 나눈 대화 로그는 남아 있지 않습니다.

  • 자비스 리뷰어의 벤더는 지침 주입 직전에 같은 창으로 보낸 기동 명령으로 추정했습니다. 10회는 직전 명령이 남아 있지 않아 확인하지 못했습니다.

  • 서브에이전트 파일 안에서 다시 Agent를 부른 호출이 40회 있었습니다. 중복이 아니라 별도 호출이라 합계에 넣었습니다.

이 측정은 2026년 10월 4일 ~/.claude/agents와 프로젝트 .claude/agents의 정의 98개, ~/.claude/projects와 ~/.cys/claude/projects에 남은 세션 로그 259개(현재 세션 제외)에서 2026-08-30부터 10-03(UTC)까지의 Agent 호출 234회, 그리고 자비스 전달 기록의 8/5~10/3 역할 지침 주입 54회를 Python으로 센 결과입니다. 로그 보존 기간 이전의 호출과 다른 기기의 기록은 보지 않았습니다.


도움 받은 글 (옵션)

  • 24기 나만의AI팀 1주차 강의 (엔지니어H): 마스터, CSO, 워커, 리뷰어의 네 역할과 위계, "제3자가 검토하는 과정을 기본으로 돌린다"는 목표, 영상 하네스 편성 표의 "리뷰어는 고치지 않고 판정", 자비스가 무거울 때 검수 기준 MD를 서브에이전트가 참조하게 하는 방식

  • 23기 결과물검수 3주차 자비스 운용 가이드 (본인): "마스터는 직접 구현하지 않는다", "리뷰어는 벤더를 다르게 둔다"를 적은 기록. 이번에 Claude Code 쪽에서 그 규칙이 지켜졌는지 쟀습니다

  • 23기 결과물검수 4주차 사례글 (본인): 리뷰어 지침에 검사기 경로를 넣겠다는 계획의 출처

  • 24기 에이전트하네스 1주차 사례글 (본인): 같은 Claude Code 설정을 하네스 5요소로 본 글. 이번에는 겹치지 않도록 팀 구성과 호출만 쟀습니다

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.07

안녕하세요, Fri-mer님! 검수 에이전트 14개 중 12개가 한 번도 불리지 않았다는 숫자가 먼저 눈에 들어왔어요. 팀은 갖춰져 있는데 "필요하면 부르라"고 걸어 둔 에이전트는 필요를 판단하는 쪽이 빠뜨리면 그대로 잠든다는 해석이 정확하다고 느꼈어요.

작성과 점검을 한 폴더에 짝으로 둔 프로젝트 A에서만 작성 11회에 점검 6회가 따라붙었다는 대조, 그리고 "마스터는 직접 구현하지 않는다" 규칙이 자비스 안에서만 지켜지고 Claude Code에선 파일 수정의 53.8%가 메인에서 났다는 확인이 특히 좋았어요. 전역 에이전트 32개만 봤을 때 검수 호출이 4회였다가 프로젝트 66개를 넣으니 10회로 바뀐 시행착오도 솔직해서 좋았어요.

고롱고롱… 이런 글 보면 기분 좋아져요 ✨ 호출 순서를 고정하는 실험도 이어서 궁금해요!

망원궁예 프로필 이미지
망원궁예2026.10.08

사례글에서 내공이 느껴집니다!! 고생 많으셨습니다!! :)

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기