자비스(cys) 부서 + 우로보로스 인터뷰로 퇴사 전 "운영 매뉴얼"을 만들고 검증한 사례
2026.10.15
운영 매뉴얼 작성의 필요성
서비스 기획자로서 특정 서비스를 혼자 기획·개발·운영해 왔고, 곧 퇴사를 앞두고 있으며 후임 없이 기존 인력이 운영해야 하는 상황. 더 이상의 개선이나 업데이트는 어려워보이기에 운영에 초점을 두어서 왜 이렇게 만들었는지보다 운영 업무에 대해서 실행 주기와 업무 내용 등에 대해 적은 운영자용 매뉴얼이 필요하다고 생각했음.
우선 첫 대상으로 가장 크고 판단이 많은 업무를 골라, 역할을 나눈 AI 팀에게 쓰고 검수하게 하고자 했음.
문제 상황은 다음과 같음
1) 내가 퇴사하면 업무 내용을 아는 사람이 없고 업무를 내가 했던 그대로 진행할 사람이 없음
2) 인수인계서+매뉴얼을 적어야 하는데 업무 범위가 너무 넓어서 나조차도 업무 위키를 살펴보지 않으면 기억 못하는 내용들이 많음. 아마 다음에 받을 사람도 동일할 것.
3) 계속 인입되는 문의건 및 여러 마무리 업무들을 쳐내는 상황에서 직접 인수인계서와 매뉴얼을 만드는 것이 시간상 쉽지 않음
그러므로 목표를 '운영을 최대한 자동화시킬 수 있는 하네스를 만들어 운영매뉴얼, 인수인계서와 함께 넘기는 것' 으로 잡았음. 전제는 다음 넘겨받을 담당자가 코덱스를 사용하여 운영한다는 것이었음.
운영 매뉴얼 작성 과정
자비스 터미널(cys): 마스터·CSO·워커·리뷰어 역할 창을 띄운 부서 운영
우로보로스 ooo interview: 초안의 빈칸·미확인을 채우기 위한 질문지 진행
Claude Code: 부서 각 창의 모델 (Opus 5.5 / Sonnet 5.5)
Claude(채팅): 인터뷰 답변 검토, 리뷰어 판정 재대조, 다음 지시문 작성
진행 세부 내용
1️⃣ 부서 준비: 읽을 곳과 쓸 곳을 먼저 나눔
전용 폴더 C:\jarvis 아래 input(읽기 전용)과 output(쓰기 전용) 폴더를 만듦. 바탕화면은 클라우드 백업 대상이라 피함. (퇴사와 함께 정리 예정)
input에는 4가지 재료를 넣음: 매뉴얼 틀(장마다 같은 13칸), 검증기준, 1장 초안, 미리 PC를 조사한 결과 파일 9개, 만들어둔 업무 로컬 위키 폴더 사본.
검증기준은 3단계로 미리 정함.
검사 1 사실 대조: 근거 등급 A(실제 파일 조사)~E(본인 기억), 판정 5종(확인/틀림/근거없음/옛근거만/충돌)
검사 2 운영자가 따라 할 수 있나: 명령을 위에서부터 치면 끝까지 가는지 등 7개
검사 3 문서 규칙: 틀 준수, "왜" 길게 쓰지 않기, 중복 없음, 개조식
2️⃣ 부서 설정: 모델과 규칙
마스터 Opus 5.5, CSO Opus 5.5, 워커 Sonnet 5.5, 리뷰어 Opus 5.5로 설정하고 인스펙터는 뺌.
모든 창 공통 규칙 5개를 줌: input만 읽기, output에만 쓰기, 업무 폴더 접근 금지, 근거 없으면 "미확인", 비밀번호·키 값 금지.
마스터가 "자비스 기본값은 리뷰어를 외부 모델(Gemini/Codex)로 띄운다"는 걸 스스로 발견하고, 사내 위키 내용이 밖으로 나가지 않도록 전 창을 Claude로 맞춤. "모든 창 모델을 표로 보여줘"로 한 번 더 확인함.
3️⃣ ooo interview: 문서에 없는 "판단 기준"을 꺼냄
마스터 창에서 “1장 초안의 미확인과 빈칸을 채우기 위해 처음 맡는 운영자 입장에서 인터뷰해줘”로 시작함. 질문은 12개, 전부 선택형이었음.
받은 질문과 답의 예
"새 모델을 지금 모델보다 얼마나 좋아야 바꾸나요?" → 기준 3개를 순서대로 답함(① 학습 기간 규칙 준수 ② 최근 달 시험에서 확실히 나빠지지 않을 것 ③ 묶음별로 확실히 나빠진 곳이 있으면 원인 확인)
"모델을 서버 저장소에 어떻게 올리나요?" → 동기화 명령과 함께, 삭제 옵션이 붙어 있어 폴더를 잘못 고르면 운영 모델이 지워진다는 경고와 "미리보기(dryrun) 먼저" 단계를 추가함
"행정구역명이 변경된 지역에 대해 지역명 정리 단계를 매번 해야 하나요?" → 답하다가 진짜 문제를 발견함. 예를 들어 화성은 한 번이면 되지만, 7월에 새로 생긴 인천 구 이름이 다음 분기 학습에 처음 들어가면 옛 이름과 새 이름이 섞임 → "매 분기 행정구역 이름 체계 확인" 단계를 새로 만듦
"ㅇㅇ 파일은 분기마다 새로 만드나요?" → 선택지 중 "기존 줄에서 복사되니 안 만듦"이 틀렸음. 조사 파일을 다시 보니 별도 파일에서 가져오는 값이라, "빌드 전 새 달 값이 있는지 확인" 단계를 추가함
인터뷰 자체가 "내 머릿속에만 있던 판단 기준"을 글로 옮기는 과정이었음. 한 번 들어가면 다음 운영자는 인터뷰 없이 매뉴얼만 보면 됨.
4️⃣ 첫 초안과 리뷰어 검수
인터뷰가 끝나자 마스터가 초안 v3을 직접 씀
리뷰어에게 "인터뷰만 믿지 말고 input 근거와 직접 대조하라"고 검수를 맡김.
결과: 주장 135개 대조, 틀림 9건, 충돌 3건, 사람 확인 필요 21건(급함 5건) → 판정 "수정 필요"
잡아낸 틀림의 예
학습 실행 파일 원본 이름이 틀림 — 내가 인터뷰에서 잘못 말한 것을 조사 파일의 흔적으로 잡아냄
운영 중인 모델을 옛 모델로 적음
"미확인"이라 적은 숫자에 사실 근거가 있었음(반대 방향 실수)
디스크 기준이라고 쓴 값이 메모리 기준이었음
리뷰어가 스스로 한계도 적음: "리뷰어·워커·마스터가 모두 Claude라 같은 실수를 함께 놓칠 수 있다"
5️⃣ 피드백 → 수정 → 재검수
급한 5건에 답을 주고, 이번엔 "고치는 건 워커에게 맡겨"라고 지시함 → 워커가 v4와 수정 로그를 만듦.
재검수 결과: 틀림 9건·충돌 3건 모두 해소. 남은 지적은 "운영자가 그대로 칠 수 있는 명령이 아직 1개뿐"(검사 2: 7개 중 1개 통과).
v5에서 판정 규칙의 빈틈 한 줄을 보완하고, 리뷰어가 "이 규칙은 ㅇㅇ(본인) 결정인데 결정권자(상사)의 동의가 없다"는 지적까지 남김.
마스터에게 다음 회차용 진행메모를 쓰게 하고 이번 회차를 마감함: 최종 파일, 남은 지적, PC 조사로 채울 명령 목록, 결정권자에게 물을 것.
운영 매뉴얼 작성의 성과와 교훈
인터뷰는 "자료에 없는 판단"을 꺼내는 도구였음. 명령·경로는 파일에 있지만, "언제 바꾸고 언제 멈추나"는 머릿속에만 있었음. 선택형 질문에 답하다가 추후에 터질 문제(ex.행정구역 이름 섞임)를 발견한 것이 가장 큰 수확이었음.
리뷰어에게는 "판정 기준"과 "근거 등급"을 같이 줘야 함: 덕분에 리뷰어가 쓴 사람의 설명이 아니라 근거 파일과 대조했고, 내 인터뷰 답변의 실수까지 잡아냄. 고치는 쪽(워커)과 판정하는 쪽(리뷰어)을 나눈 것이 효과가 있었음.
AI는 근거가 없으면 실행 명령을 채우지 못함: 사실 오류는 두 바퀴 만에 0이 됐지만, "그대로 칠 수 있는 명령"은 늘지 않았음. 이건 프롬프트가 아니라 업무 내역을 직접 조사한 자료가 들어가야 풀림. -> 추후 보완 예정
경계는 폴더로 긋는 게 확실함: input/output 분리와 "업무 폴더 금지"를 지켰기 때문에, 자동 모드에서 규칙을 어긴 순간도 바로 눈에 띄었음.
향후 계획
진행메모의 “PC 조사로 채울 명령 목록”을 Claude Code로 읽기 전용 조사 → 결과를 input에 파일로 넣음
새 창 3개로 v6 작성 → 리뷰어 검수. 최종본만 다른 회사 모델(Codex)로 2차 검수 1회 진행 (클로드만 쓰는 것이 혹시 편향된 답을 내놓을까 하는 우려..)
잘 된 과정(틀 → 인터뷰 → 워커 작성 → 리뷰어 대조 → 진행메모)을 스킬로 저장해 2~5장(앵커표·레벨표·그래프용 표·경제지표)에 반복 적용
결정권자 확인이 필요한 결정(교체 기준, 알려진 한계 수용)을 모아서 전달


