[실험기] AI 두 회사(Claude ↔ Codex)가 서로를 검수하는 'AI 네이티브 회사'를 만들어봤습니다 — 디스코드 한 줄로 일이 굴러가기까지, 그리고 깨진 것들
수리아
2026.06.10
왜 만들었나
요즘 "AI 에이전트로 1인 회사" 얘기가 많죠. 저는 한 발 더 들어가서, *"AI 회사 두 개(Anthropic Claude / OpenAI Codex)를 두고, 어떤 산출물이든 만든 회사가 아니라 반대 회사가 검증하게" 만들어봤습니다.
이유는 단순합니다. 에이전트를 굴려보면 가장 무서운 게 "거짓 합의" 예요. 같은 모델한테 "이거 맞아?" 물어보면 자기가 만든 걸 자기가 칭찬합니다. 같은 모델은 같은 사각지대를 봅니다. 그래서 검수는 반드시 다른 벤더가 하게 했습니다.
목표는 추상적인 토론봇이 아니라 "디스코드로 지시 한 줄 → 실제 산출물(계획·코드·검증된 결과)" 이 나오는 파이프라인이었습니다.
회사 구조
등장인물(별명은 제가 붙인 겁니다):
개바리 / 기회기 — 생산 부서(개발·기획). 각 부서 프로필은 Claude 또는 Codex 모델로 둘 수 있습니다.
코거미 (Codex 검수자) — 클로드코드(Claude) 프로필이 만든 산출물을 적대적으로 red-team 검수.
클거미 (Claude 검수자) — 코덱스(Codex) 프로필이 만든 산출물을 적대적으로 검수.
즉 검수자는 '누가 만들었나'의 모델로 자동 결정됩니다 — 클로드코드가 만들면 코거미(Codex)가, 코덱스가 만들면 클거미(Claude)가. (검수자 이름이 검수하는 쪽 벤더예요: 코거미=Codex, 클거미=Claude.)
Dr.stranger / Hermes — Director(사람)의 비서이자 외부 접수창구. 디스코드로 자연어를 받아 회사에 넘기고, 결과를 보고. (핵심 라우터가 아니라 '비서실'입니다.)
실행 기반(substrate)은 제가 만든 작은 오케스트레이터입니다:
tmux 인터랙티브 워커 — claude, codex CLI를 tmux 창에 띄워두고, 거기에 작업 지시를 자동 주입.
파일 두뇌(brain/) — mailbox(요청)·results(산출물)·records·verdicts. 세션은 일회용, 상태는 전부 파일이 source of truth. 부서 간 소통도 라이브 메시지가 아니라 파일 프로토콜로 합니다.
전체 흐름:
Director (디스코드 자연어)
→ Hermes(비서): 접수·부서 추론·보고
→ companyRouteCli: brief 생성 → mailbox에 요청 → tmux 워커 깨움(wake)
→ 워커(claude/codex): 요청 읽고 작업 → 결과 JSON 작성 → 완료 처리
→ 교차검증(반대 회사): verdict(통과/부분/실패) 기록
→ Hermes → Director 보고(요약 + 원천 ref들)
실제로 뭘 만들었나
예시 1 — 로또 웹서비스 기획. 디스코드로 "당첨번호 빈도 통계 대시보드 추가 계획만 짜라(구현 금지)"를 보냈습니다. 개발 부서 워커(이번엔 Claude)가 한 일이 인상적이었는데, 환각으로 계획을 지어내지 않고 코드부터 읽었습니다. 그리고 "어, 이 기능 이미 백엔드 API랑 테스트까지 상당 부분 구현돼 있네?"를 발견하고, 계획의 범위를 "새로 만들기"가 아니라 "기존 API로 프론트 시각화만 추가" 로 스스로 좁혔습니다. 제품 코드는 한 줄도 안 건드렸고요.
예시 2 — 회사가 자기 버그를 스스로 고침(메타). 이게 제일 재밌었습니다. 디스코드 지시가 워커한테 전달되는 그 '깨우는' 코드 자체에 버그가 있었어요(아래 '문제들' 참고). 이번엔 Claude(개발)가 그걸 고치고, 그러니 규칙대로 반대 회사인 Codex(코거미)가 그 수정을 적대적으로 검수했습니다. 그랬더니 Codex가 진짜 결함을 잡아냈어요 — "제출은 했는데 워커가 실제로 받았는지 확인하는 postcondition이 없다 → 조용히 실패할 수 있다." 맞는 지적이라 보강하고, 다시 Codex한테 재검수 받아서 그 지적이 닫혔는지 확인하고 커밋했습니다. 같은 회사 자가검토였으면 절대 못 잡았을 결함입니다.
문제들 (솔직하게)
1. 클로드코드가 '헤르메스 직원'으로 동작하지 않았다 — 비용의 진실
원래 그림은 "Hermes 안에 부서별 프로필을 두고, 개바리도 클거미도 다 Hermes 프로필로 돌린다" 였습니다. 이게 안 됐습니다.
Claude를 Hermes 프로필로 붙여봤더니 인증은 성공(진짜 Anthropic에 도달)했는데 opus·sonnet 둘 다 out of extra usage 에러가 떴습니다. 파보니 핵심은 이거였어요:
Hermes(외부 에이전트)가 Claude의 OAuth 토큰을 빌려서 호출하면, Anthropic은 그걸 third-party = "extra usage(종량 과금, 사실상 API 요금)"로 칩니다. 구독에 포함된 무료분이 아닙니다. 구독 무료분은 "진짜 Claude Code CLI를 직접 실행" 할 때만 적용됩니다.
게다가 헤드리스로 돌리는 claude -p(--print) 옵션도 구독제에서 막히는 방향이라, "Claude를 백그라운드 워커로" 굴리는 길이 점점 좁아지고 있었습니다.
결론(설계 변경): Claude는 tmux에서 인터랙티브 CLI로 직접 띄워서 쓴다(이러면 구독 무료분 적용). Codex만 Hermes 프로필로 둔다. Hermes는 디스코드 접수·보고만 하는 비서로 역할을 줄인다.
→ 교훈: "같은 모델이라도 어디서 실행하느냐가 비용을 결정한다." 남의 에이전트 프레임워크에 Claude Code를 부품으로 꽂으면 무료 구독이 아니라 과금됩니다.
2. 가짜 교차검증
처음엔 Hermes 부서 프로필이 전부 같은 벤더(gpt/Codex) 로 잘못 설정돼 있었습니다. 그러면 "같은 모델이 같은 모델을 검수" 하는 꼴 — 회사를 만든 이유 자체가 무너집니다. 게다가 단일 구독 quota에 회사 전체가 매달려서 금방 429(사용량 소진)로 전원 즉사했죠. 교차검증은 반드시 다른 벤더라야 의미가 있습니다.
3. 과잉 자동화가 출혈원
"5분마다 풀 에이전트를 깨우는 cron" 같은 걸 깔아놨더니 그게 사용량을 줄줄 흘렸습니다. 칸반 보드(SQLite)도 훅·워커·운영자가 동시에 써대서 DB가 반복적으로 손상됐고요. → 자동화는 공짜가 아니다. 깨우는 주기 하나하나가 비용입니다.
4. 워커를 '깨우는' 경로가 조용히 깨졌다
디스코드 지시가 tmux 워커에 전달되는 핵심 경로(sendTmuxPrompt)에서 결함 3종을 실측했습니다:
codex 자동 업데이트가 런치를 가로챔: codex를 띄우자마자 자가 업데이트가 돌면서 셸로 빠져나갔는데, 깨우는 코드는 "프로세스 이름이 codex인가"만 1회 확인하고 프롬프트를 던졌습니다 → 프롬프트가 bash 셸로 유출돼 명령으로 실행됨(위험).
붙여넣기-제출 레이스: 프롬프트를 paste한 직후 바로 Enter를 누르면, codex TUI가 붙여넣기를 흡수하기 전이라 제출이 안 되고 입력창에 멈춤.
침묵 실패 → 고아 요청: 위 둘이 터지면 워커는 일을 시작도 안 했는데 시스템은 "보냈음"으로 넘어가서, 요청만 덩그러니 남는 고아(orphan) 가 쌓였습니다.
고친 방식: 깨우기 전에 화면을 700ms 간격 2번 찍어서 '정지 상태(준비됨)'일 때만 주입, paste 후 잠깐 기다렸다 제출, 그리고 제출 후 입력창이 비워졌는지 확인(postcondition) 해서 안 비워졌으면 실패로 처리·재시도. (이게 위에서 Codex가 잡아준 그 결함입니다.)
5. 비서가 잡음을 다 흘렸다
디스코드로 결과를 받는데, 비서(Hermes)가 내부 배관을 죄다 흘렸습니다 — iteration 8/90 같은 카운터, 파일 읽기 도구 트레이스, 명령 실행 raw stdout까지. Director가 정작 중요한 "무엇을 했고 결과가 뭔지"를 못 봤죠. 설정으로 도구 진행·카운터·stdout 덤프를 끄고 "접수확인 + 하트비트 + 최종결과+근거링크"만 남겼습니다. (비서는 내부 plumbing을 사장한테 보여주면 안 됩니다.)
배운 것
진짜 교차검증은 다른 벤더라야 한다. 같은 모델 자가검토는 같은 사각지대만 본다. 실제로 Codex가 Claude의 '침묵 실패' 결함을 잡았고, 그 반대도 일어났다.
비용은 '무엇'이 아니라 '어디서 실행하느냐'가 결정한다. 같은 Claude라도 직접 CLI는 구독 무료, 남이 토큰 빌려 호출하면 종량 과금.
헤드리스 자동화는 벤더 정책에 묶인다. claude -p 축소처럼, 백그라운드 실행 경로는 언제든 막힐 수 있어서 인터랙티브(tmux) 우회가 더 견고했다.
자동화의 진짜 적은 '침묵 성공'이다. "보냈음 = 됐음"이 아니다. 성공은 형식이 아니라 실측(결과 파일·승인·검증 존재 확인)이어야 한다.
상태는 파일에, 세션은 일회용. 살아있는 세션에 상태를 쌓으면 컨텍스트가 날아갈 때 같이 죽는다. 질문·결정·판정은 전부 파일 두뇌에 적었다.
앞으로 — 부서를 하나씩 늘려가며 키운다
지금 조직도는 일부러 최소입니다. 개발(개바리)·기획(기회기) 생산 부서 둘에, 양쪽을 맞바꿔 검수하는 검수자(코거미·클거미), 그리고 비서(Hermes). 끝입니다.
핵심 원칙은 "부서는 미래를 위해 미리 만들지 않는다(YAGNI). 실제 일이 그 전문성을 요구하는 순간 태어난다" 입니다. 제품을 굴리다가 "이건 새로운 전문성이 필요한데?" 싶을 때, 그 전문성을 부서로 역산해서 하나씩 붙이는 방식으로 조직을 키우려고 합니다.
부서 추가 시나리오 (로또 웹서비스가 자라면서):
지금 — 개바리(개발) · 기회기(기획) 2개 생산 부서 + 교차검수. 단순한 기획/구현은 이걸로 충분.
프론트가 복잡해지면 → 빈도 대시보드 같은 UI 작업이 쌓임 → fe(프론트엔드) 워커 분리. 개바리(eng-lead)가 fe 서브워커에게 위임하는 구조로.
사용자 계정·결제가 생기면 → 개인정보·보안 리스크 등장 → 보안검수(Codex audit) 부서 + 법무(사람 게이트) 추가. 이건 자동 통과시키면 안 되는 일이라 사람 승인을 명시적으로 끼웁니다.
트래픽이 붙으면 → 배포·모니터링 필요 → ops(운영) 부서.
사용자를 모아야 하면 → 카피·콘텐츠·시장조사 → research/마케팅 부서.
부서 추가 자체는 의외로 기계적입니다:
설정 파일에 한 줄 — 부서 이름 · 벤더(claude/codex) · 실행 명령,
워커의 역할 정의 문서 한 개,
끝. 그 순간부터 비서(Hermes)가 그 부서로 일을 라우팅하고, 교차검증은 자동으로 반대 회사가 맡습니다(클로드코드로 만들었으면 코거미(Codex)가, 코덱스로 만들었으면 클거미(Claude)가).
이렇게 제품이 요구할 때만 부서가 태어나게 하면, 조직이 군살 없이 — 그러나 필요한 전문성은 빠짐없이 — 커집니다. "조직도를 먼저 그리고 사람을 채우는" 게 아니라, "일이 사람을 만든다" 에 가깝습니다.
마무리
거창한 "완전 자율 AI 회사"는 아직 멀었습니다. 하지만 "디스코드 한 줄 → 반대 회사가 검수한 산출물" 이 실제로 굴러가는 건 확인했고, 그 과정에서 비용·검증·자동화의 현실적인 함정들을 많이 배웠습니다. 특히 "Claude Code를 남의 에이전트에 부품으로 꽂으면 무료가 아니다"는 건 비슷한 걸 시도하는 분들께 꽤 도움이 될 것 같아 공유합니다.
질문 환영합니다 🙌




"거짓 합의" 문제를 교차 벤더 검수로 푼 발상이 핵심이에요. Codex가 "postcondition이 없어서 워커가 실제로 받았는지 확인이 안 된다"는 결함을 잡아낸 사례 — 자가검토였으면 절대 못 잡았을 거라는 말이 딱 맞습니다.
Claude를 헤드리스 백그라운드로 굴리면 구독분이 아닌 extra usage로 빠진다는 비용 구조 발견도 실험해보지 않으면 모를 함정이었겠어요. tmux 인터랙티브 + 파일 프로토콜로 상태를 source of truth로 두는 설계, 깨진 것들까지 솔직하게 공유해주셔서 배울 점이 많았습니다!