사내 바이브코더들을 지원하는 개발팀의 인프라 구축기 - 자동 리뷰 시스템 삽질기 포함

우리 팀 상황

GPTers에는 바이브 코더가 여러 명 있습니다. Claude, Cursor 등 AI 도구로 자동화를 만들고, 운영 업무를 개선하는 비개발자들이죠.

처음엔 개발자가 1:1로 코칭하면 됐습니다. 그런데 바이브 코더가 늘어나니 문제가 생겼습니다:

• 같은 질문이 반복됨 - "이거 어떻게 해요?"가 사람마다 다시 나옴

• 해결 노하우가 휘발됨 - 한번 알려주면 끝, 기록이 안 남음

• 코드 품질 편차 - 누구는 잘 만들고, 누구는 기술부채를 쌓음

• 개발자 시간 부족 - 여러 개의 레포를 일일이 봐줄 수가 없음

개발팀이 바이브 코더를 스케일러블하게 지원할 시스템이 필요했습니다.

자동 코드 리뷰, 생각보다 어려웠다

이미 Coderabbit은 쓰고 있었다

저희 팀은 이미 Coderabbit을 PR 리뷰에 활용하고 있었습니다. 개발자들이 PR 올리면 자동으로 리뷰해주고, 꽤 만족스러웠죠.

"그럼 바이브 코더 레포에도 Coderabbit 붙이면 되겠네!"

문제는 바이브 코더들이 PR을 안 올린다는 것.

main에 바로 푸시하거나, 혼자 작업하니까요. Coderabbit은 PR이 있어야 작동합니다.

첫 번째 시도: Dummy PR 전략

"이전 리뷰 시점 ~ 현재 커밋" 사이를 비교하는 Dummy PR을 만들면 되지 않을까?

[이전 리뷰 커밋] ──────────> [현재 main HEAD]
                    ↑
               Dummy PR 생성  ← ❌ 불가능

GitHub는 같은 브랜치의 두 커밋 사이에 PR을 만들 수 없습니다. PR은 두 개의 다른 브랜치 사이에서만 가능하거든요.

두 번째 시도: Coderabbit CLI

CLI 기반으로 리뷰를 시도해봤습니다. Coderabbit CLI는 로컬 환경에서 AI 기반으로 코드 변경을 분석해주는 도구로, 개발자 개인의 커밋이나 특정 폴더를 리뷰하는 데는 유용합니다. 하지만 다음과 같은 한계가 있었습니다:

• 전체 레포를 주기적으로 자동 리뷰하는 데는 최적화돼 있지 않음

• 출력은 구조화되지 않은 텍스트 기반 → 파싱 자동화가 어렵고 불안정함

• 플랜/환경에 따라 리소스 제한 존재 → 속도나 호출 횟수의 제약 가능성

결과적으로 Coderabbit CLI는 PR 기반 리뷰를 보완하는 용도로는 좋지만, CI에서 여러 개의 레포를 주기적으로 리뷰하려는 목적에는 한계가 있었습니다.

세 번째 시도: Claude Code CLI

방향을 바꿨습니다. Claude Code CLI 기반으로.

왜 Claude Code CLI인가?

• PR 없이 전체 코드베이스 리뷰 가능

• Skill 시스템으로 리뷰 관점을 세분화 가능

• Thinking 과정이 투명하게 기록됨

하지만 여기도 제약이 있었습니다.

Claude CLI의 현실적 제약들

제약 1: GitHub CI 환경에서 돌려야 한다

자동화하려면 GitHub Actions에서 돌아가야 합니다. 사람이 버튼 누르고 기다릴 수 없으니까요. CI 환경에서 Claude CLI를 설치하고 인증하고 실행하는 파이프라인을 구축해야 했습니다.

제약 2: API Key 필수 = Max Plan 사용 불가

CI 환경에서는 API Key로 인증해야 합니다. 문제는 Claude Code의 Max Plan(월 $100~200 정액제)은 API Key가 아니라 계정 로그인 방식이라는 거죠.

결국 API 종량제를 써야 합니다. 토큰당 과금.

제약 3: 비용이 부담될 수 있다

10개 전문 에이전트가 각각 코드를 읽고 분석합니다. 레포 크기에 따라 토큰 사용량이 천차만별이고, 여러 개의 레포를 주기적으로 리뷰하면 비용이 꽤 나올 수 있습니다.

아직 대규모로 돌려보지 않아서 정확한 수치는 모르지만, 핵심 레포 5-10개만 우선 적용하고 비용을 모니터링하면서 확대하기로 했습니다.

최종 구조: 10개 전문 리뷰 에이전트

Claude Code의 Task tool로 서브 에이전트를 호출하는 구조를 만들었습니다.

대시보드에서 "리뷰 실행" 클릭
    ↓
GitHub Actions가 레포 클론
    ↓
claude -p "/review ./target-repo" (API Key 인증)
    ↓
오케스트레이터가 9개 서브 에이전트 호출
    ↓
Thinking + Findings를 DB에 저장 (토큰/비용 추적)
    ↓
Slack 알림

결과적으로 두 시스템을 병행합니다:

• PR 있는 경우 → 기존 Coderabbit이 리뷰

• PR 없이 전체 리뷰 → Claude Code CLI 기반 시스템

해결책 2: 표준 AI 코딩 환경

바이브 코더마다 환경이 달랐습니다. 누구는 Claude Desktop, 누구는 Cursor, 설정도 제각각.

@gpters/opencode-plugin - 한 번 설치로 개발자와 동일한 환경

bunx @gpters/opencode-plugin install

• Skill - GPTers 도메인에 특화된 AI 기능

• Command - /user-lookup, /study-status 슬래시 명령

• Hook - Git 커밋 가이드, 코드 품질 체크

해결책 3: 코칭 → 정제 → 공유

바이브코더 질문 (Linear 이슈)
    ↓
개발자 가이드 + 해결
    ↓
3건 이상 반복된 패턴만 선별
    ↓
Skill/Command/Guide로 정제
    ↓
AI Toolkit 마켓플레이스 배포

핵심: 전부 기록하지 않는다. 3번 이상 반복된 것만 정제.

현재 상태

배운 점

기술적 교훈

1. 기존 도구가 만능은 아니다

   • Coderabbit이 PR 리뷰에는 훌륭해도, PR 없는 상황에는 맞지 않았습니다. 상황에 따라 다른 도구가 필요할 수 있습니다.

2. CI 환경의 제약을 미리 파악하라

   • Max Plan의 정액제 혜택을 CI에서 못 쓴다는 걸 늦게 알았습니다. API Key 인증이 필수인 환경이라면 종량제 비용을 감안해야 합니다.

3. 작게 시작하고 비용 모니터링

   • 모든 레포가 아니라 5-10개 핵심 레포부터. 토큰 사용량과 비용을 추적하면서 확대.

4. Claude Code CLI의 Skill 시스템이 강력하다

   • 리뷰 관점을 세분화하고, 각각 다른 에이전트로 분리할 수 있었습니다.