반복하던 판단과 전달을 자동화한 기록
2026.10.22
소개
cys 자비스 프로그램을 쓰면서 에이전트가 작업물을 빠르게 만들어 준다는 걸 체감했다. 동시에 토큰 비용만 줄일 수 있다면 정말 좋은 도구가 되겠다고 느꼈다. 그래서 자비스가 어떻게 동작하는지 참고해 나만의 오케스트레이션 시스템을 만들기로 했다.
한 달 동안 만든 것은 기획, 설계, 테스트, 구현, 검토 단계를 여러 AI 에이전트가 이어서 처리하는 흐름이다. 다음 단계로 넘어갈지는 에이전트가 아니라 중앙의 규칙이 정한다. 중요한 지점에서는 사람이 승인하거나 되돌릴 수 있고, 진행 상황은 대시보드와 알림으로 확인한다.
만들면서 알게 된 것
규칙을 만드는 과정은 실수를 발견하는 과정이었다
나는 설계를 계속 번복했다. 에이전트는 내가 모호하게 전달한 지침 때문에 낮은 품질의 결과물을 가져왔다. 이런 일이 반복될 때마다 단계별 책임, 산출물, 검토 기준을 하나씩 문서로 정리해 나갔다.
판단을 중앙의 규칙으로 옮기자, 그동안 내가 그때그때 다르게 판단하던 작업들이 보이기 시작했다. 자동화의 가장 큰 수확은 시간 절약보다 내 작업 방식을 돌아보게 된 것이었다.
되돌리기는 생각보다 어렵고, 대화가 가장 빨랐다
가장 골치 아팠던 건 반려였다. 작업물을 어디까지 되돌려 다시 실행할지가 관건이었다. 결국 대략 완성된 뒤의 세부 수정은 에이전트에게 다시 맡기기보다 대화로 바로 확정하는 편이 가장 빨랐다.
완전 자동화보다 통제 가능한 자동화
에이전트가 스스로 "다음은 이거"라고 정하게 두면 결과가 흔들렸다. 에이전트는 한 일만 보고하고, 진행 여부는 시스템이 판단하며, 필요한 순간에는 사람이 멈추고 고칠 수 있게 했다. 이 구조 덕분에 터미널과 로그를 계속 들여다보지 않고도 지금 무슨 일이 일어나는지 알 수 있게 됐다.
아직 모르는 것
편해졌다는 느낌이 생산성이 올랐다는 뜻은 아니다. 새 도구가 주는 신선함일 수도 있다. 자동 실행 시간은 기록에 잘 남지만, 내가 읽고 판단하고 고친 시간은 남지 않는다. 또 한 번에 많은 산출물이 쏟아지면 검토가 얕아져 놓치는 결함이 생길 수 있다.
그래서 다음 한 달은 기능을 더 붙이지 않고 측정에 집중하려 한다.
내가 실제로 개입한 시간이 전체 작업 시간에서 얼마나 되는지
재작업이 생겼을 때 그 원인이 요구사항, 설계, 지침, 구현 중 어디였는지
승인하고 넘긴 단계에서 놓친 결함이 나중에 얼마나 발견되는지
마치며
이제 남은 질문은 "작동하는가"가 아니라 "실제로 더 나은가"다. 한 달 뒤에 숫자로 답해보려 한다.



