세션 63개를 굴리고 있었는데 모델은 전부 같은 걸 쓰고 있었습니다
2026.10.15
세션 63개를 굴리고 있었는데 모델은 전부 같은 걸 쓰고 있었습니다
저는 입문이 아닙니다. 오르카를 두어 달 전부터 쓰고 있었고, 한 번은 지웠다가 다시 깔기도 했습니다. 그런데도 이 스터디에 들어온 이유가 있습니다. 쓰고는 있는데 잘 쓰고 있는지를 몰랐습니다.
자기소개 시간에 누리님이 같은 말씀을 하셨습니다. 몇 달 전부터 쓰고 있는데 잘 쓰고 있는지 모르겠고 관성적으로만 쓰다 보니 발전하는 느낌이 없다고요. 저도 정확히 그 자리에 있었기 때문에 그 말이 오래 남았습니다.
제가 쓰고 있던 방식을 먼저 적어두겠습니다
뒤에 나올 이야기가 제 쓰는 방식에 걸려 있어서 거기부터 짧게 적겠습니다.
오르카는 세션을 띄울 때마다 긴 아이디를 하나씩 붙입니다. 사람이 보는 이름은 따로 있는데 그건 바뀔 수 있고 아이디는 안 바뀝니다. 이게 뒤에서 한 번 문제가 됩니다.
처음에는 프로젝트 단위로 세션을 나눠 썼습니다. 개발자 부업으로 맡은 사이트를 운영하는 세션 하나, 개인 프로젝트 세션 하나, 이런 식으로요. 그러다 프로젝트마다 할 일이 여러 갈래로 갈라지면서 지금 모양이 됐습니다. 프로젝트별로 총괄 오케스트레이터를 하나 두고, 그 아래에 일을 쪼개서 세션을 하나씩 배정하는 방식입니다. 제가 지금 이 글을 쓰는 자리도 그렇게 배정된 세션 중 하나입니다.
세션이 늘어나니 누가 누군지 적어둘 데가 필요해서 목록을 둡니다. 조직 장부에 자리마다 소속과 보고선과 맡은 일을 적어두고, 자리마다 역할 문서를 따로 둬서 그 자리가 켜질 때 자기 할 일을 읽게 했습니다. 어떻게 생겼는지까지는 이 글에서 다루지 않겠습니다.
1강에서 제일 걸린 건 아웃풋 토큰이었습니다
스터디장이 멀티에이전트를 쓰는 이유를 세 가지로 설명했습니다. 컨텍스트가 차면 품질이 떨어진다, 직렬로 하면 앞의 것이 끝날 때까지 기다린다, 그리고 비용 문제입니다.
세 번째가 제일 걸렸습니다. 아웃풋 토큰이 인풋보다 비싸다는 이야기였습니다. 예로 든 모델은 100만 토큰당 인풋이 2달러인데 아웃풋이 12달러였습니다. 여섯 배입니다.
그래서 구조가 나옵니다. 실제로 글과 코드를 뱉는 쪽이 비용을 만들니, 뱉는 자리를 저렴한 모델로 두고 오케스트레이터는 프롬프트만 쓰고 검증만 하게 한다는 겁니다. 그러면 오케스트레이터의 컨텍스트도 안 늘어나서 압축이 줄어듭니다.
듣는 동안 제 구조가 떠올랐습니다. 저는 오케스트레이터와 워커를 나눠 두기는 했는데, 모델을 나눈 적이 없었습니다.
재보니 개선할 점이 셋이었습니다
집에 와서 실제로 쟀습니다.
오르카 1.4.226을 쓰고 있고 살아 있는 세션이 63개, 역할을 등록해 둔 자리가 30개, 팀이 9개였습니다. 숫자로는 괜찮아 보입니다.
그런데 모델 설정이 전역 파일 한 줄이었습니다. 세션 63개가 전부 그 한 줄을 읽고 있었습니다. 오케스트레이터든 단순 수집이든 같은 모델입니다. 강의가 말한 분리가 하나도 적용돼 있지 않았습니다.
두 번째는 오케스트레이터가 직접 일하고 있던 것입니다. 제 총괄 자리는 판정하고 결론까지 내고 있었습니다. 장부에 적어둔 임무란에는 결정하지 않는다고 쓰여 있는데 지켜지지 않았습니다.
세 번째는 다른 도구를 안 쓰고 있던 것입니다. 코덱스가 깔려 있는데 교차 검증할 때만 불렀습니다. 강의는 백엔드는 GPT, 프론트엔드는 클로드처럼 나눠 쓴다고 했는데 저는 한 종류만 쓰고 있었습니다.
등급을 역할 이름으로 매기려다 말았습니다
자리 30개를 등급으로 나누는 표를 만들었습니다.
처음에는 역할 이름으로 나눴습니다. 오케스트레이터로 등록된 자리는 고급, 워커는 중급, 수집은 저렴. 그렇게 나누고 나서 장부의 임무란을 다시 읽었는데 거기서 걸렸습니다.
오케스트레이터로 등록돼 있는데 직접 구현하는 자리가 여섯 개 있었습니다. 임무란에 오케가 워커를 겸한다고 적혀 있거나, 요건 확정부터 구현까지 스스로 한다고 적혀 있는 자리들입니다. 강의 기준은 직책이 아니라 뱉느냐 안 뱉느냐인데, 이 여섯은 뱉습니다.
그래서 기준을 바꿨습니다. 글과 코드를 뱉는 자리는 중급으로 내리고, 판단만 하는 자리만 고급으로 뒀습니다. 그렇게 다시 나누니 진짜 오케스트레이터는 여섯 자리뿐이었습니다. 실무가 열여덟, 수집과 상시 작업이 다섯이었습니다.
내리면 안 되는 자리도 하나 나왔습니다. 강의록 받아쓰기를 맡은 자리는 한 번에 10만 자가 넘는 전사를 다룹니다. 모델을 내리면 컨텍스트가 좁아져서 그 자리는 터집니다. 그 하나는 예외로 따로 적어뒀습니다.
그런데 한 번에 바꿀 수가 없었습니다
표는 만들었는데 적용하려니 벽이 셋이었습니다.
첫째로 세션들의 작업 폴더가 두 덩어리였습니다. 42개가 한 폴더, 15개가 다른 폴더입니다. 폴더 단위로 설정을 주는 방법이 있는데, 그러면 42개에 똑같이 걸립니다. 자리별로 안 갈라집니다.
둘째로 모델을 바꾸는 명령은 사람이 치는 것입니다. 총괄이 다른 세션의 모델을 대신 바꿀 수가 없습니다.
셋째로 자리 대부분이 지금 멈춰 있습니다. 공지를 보내도 깨어날 때까지 안 읽습니다.
그래서 한 번에 바꾸는 건 포기하고 점진 전환으로 설계했습니다. 역할 문서에 그 자리의 등급을 한 줄 적어두고, 자리가 켜질 때 그걸 읽고 스스로 모델을 바꾸게 하는 방식입니다. 강의에서 나온 루프 엔지니어링이 이 용도였습니다.
방향도 뒤집었습니다. 전역을 고급으로 두고 내릴 자리를 하나씩 내리면 예외가 스물세 개가 됩니다. 전역을 저렴한 쪽으로 내리고 오케스트레이터 여섯과 예외 하나만 올리면 예외가 일곱입니다. 설정이 초기화되더라도 싼 쪽으로 돌아가니 새는 방향이 반대가 됩니다.
지금은 여기까지입니다. 실제 적용은 전역 설정을 건드리는 일이라 아직 승인을 기다리고 있습니다. 전후 토큰 소비를 재서 비교하는 건 그다음입니다.
실습하다 만난 다른 막힘
세션끼리 메시지를 주고받게 하는 것도 같이 해봤는데 거기서 한 번 크게 막혔습니다.
옆자리에 보내려고 세션 목록을 띄웠더니 42개가 떴고 찾는 자리가 없었습니다. 그래서 그 자리는 명부에 없다고 보고했습니다. 두 번 그렇게 보고했습니다.
틀렸습니다. 다른 명부로 다시 재니 멀쩡히 살아 있었습니다. 제가 역할 이름으로 찾고 있었는데 실제로 달려 있던 이름은 전혀 다른 자동 이름이었습니다. 목록에서 그 줄을 보고도 지나쳤습니다.
명부가 하나가 아니었던 것도 같이 알았습니다. 도구에 따라 42개와 63개로 달랐습니다. 한쪽이 자기 자신과 백그라운드 작업을 안 보여줘서 그렇습니다. 그래서 한 명부만 보고 없다고 판정하면 틀립니다.
배운 점
모델을 나누는 것보다 어려웠던 게 어디서 나누느냐였습니다. 강의를 듣고 나서 바로 바꿀 수 있을 거라고 생각했는데, 실제로는 설정이 걸리는 자리와 제 세션 구조가 안 맞았습니다.
등급을 직책으로 매기면 틀립니다. 오케스트레이터로 등록해 둔 자리 여섯이 실제로는 직접 구현하고 있었습니다. 장부에 적힌 이름이 아니라 그 자리가 실제로 뭘 뱉는지를 봐야 했습니다.
그리고 없다고 결론 내리기 전에 한 번 더 재야 합니다. 제가 없다고 두 번 보고한 게 둘 다 제 판정 방법 때문이었습니다. 0건은 세 갈래입니다. 정말 없는 것, 이름이 다른 것, 명부가 다른 것입니다.
다음에 해볼 것
등급표가 승인되면 역할 문서에 등급을 적어두고 자리 두세 개로 먼저 시험해 보려고 합니다. 모델을 바꾸기 전에 세션 내용을 문서로 내리고 바꾼 뒤 다시 읽히는 절차가 제대로 도는지를 봐야 합니다.
그다음에 전후 토큰 소비를 재서 비교할 생각입니다. 지금은 감으로 나눠 쓰고 있어서 비교할 기준값 자체가 없습니다. 강의에서 나온 벤치마크 숫자는 강의의 실측이고 제 작업의 실측은 아니라서, 제 환경에서 다시 재야 쓸 수 있습니다.
코덱스를 상시 워커로 붙이는 것은 그 뒤로 미뤘습니다. 한 번에 셋을 건드리면 뭐가 효과였는지 못 가릴 것 같습니다.
이런 분께 도움될 것 같습니다
세션을 여러 개 띄워 쓰고 있는데 모델은 한 번도 나눠본 적 없는 분께 권합니다. 저는 구조만 나눠놓고 모델은 전역 설정 한 줄로 두고 있었는데, 그걸 강의 듣고서야 알았습니다.

![[Paseo + Claude Code] 만들어 둔 리센느빵 테트리스 세션을 그대로 이어받아, 메뉴·2인 대전·배경음악·효과음까지 한 번에 붙였다 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2Fdfa7f86bd93d21caba20bf53.jpg&w=3840&q=75)

