본문으로 건너뛰기

AI 리뷰어를 붙이면 회의록이 더 좋아질까? 실제 업무로 A/B/C 비교해보기

아이콩

2026.10.15

이번 주에는 Hermes의 멀티 에이전트를 이용해 실제 업무 회의록을 세 가지 방식으로 검수해 봤습니다.

처음에는 Reviewer를 따로 두면 당연히 더 꼼꼼해질 거라고 생각했습니다. 서브에이전트는 비교적 가볍고 빠르게 동작할 것으로 기대했고요. 그런데 결과는 예상과 조금 달랐습니다.

Staff 혼자 검토했을 때는 참고사항 한 건을 추가했고, 독립 Reviewer와 서브에이전트는 회의록을 수정하지 않았습니다. 특히 서브에이전트 방식은 시간이 가장 오래 걸렸습니다. 이 과정을 거치면서 멀티 에이전트를 꼭 써야 하는지까지 다시 고민하게 됐습니다.

1. 무엇을 검증하려고 했나?

저는 여러 프로젝트와 사람·AI의 업무를 함께 관리하기 위해 JFlow라는 웹앱을 개발하고 있습니다. Hermes에서는 업무를 조정하는 Staff, 조사 담당 Intel, 별도 검수를 맡는 Reviewer 프로파일을 구성했습니다. 장기적으로는 JFlow에서 AI에 일을 맡기고 결과를 돌려받는 구조를 만들고 싶습니다.

이번 주 원래 목표에는 JFlow MCP 연동도 있었습니다. 하지만 메인 PC가 아닌 24시간 운영하는 Ubuntu 서버에서 멀티 에이전트를 실행하려다 보니, 프로파일 간 통신과 Docker 실행 환경을 맞추는 데 예상보다 많은 시간이 들었습니다.

그래서 이번에는 연동 범위를 넓히기보다, 먼저 다음 질문을 검증했습니다.

  • Staff가 혼자 검수하는 것보다 Reviewer를 붙이면 실제로 더 나은가?

  • 독립 Reviewer와 일시적 서브에이전트는 어떤 차이가 있는가?

  • 품질뿐 아니라 실행 시간과 운영 부담까지 고려하면 어떤 방식이 적합한가?

2. 실험 구조: 회의 원문과 회의록을 대조한다

테스트용 대화를 새로 꾸미지 않았습니다. JP와 Staff가 실제로 진행한 10월 16~22일 업무 계획 회의를 사용했습니다. GPTERS 스터디 업무와 JFlow 업무를 나누고, JFlow 연동을 일단 뒤로 미루기로 한 회의입니다.

실험은 아래 순서로 진행했습니다.

① 실제 업무 회의 원문 + 당시 참조 자료
                  ↓
② Staff가 회의록 V1 작성
   → 회의 원문과 V1을 변경 불가능한 기준본으로 보존
                  ↓
③ 같은 원문과 V1을 세 가지 방식으로 대조 검수
   ├─ A: Staff 자체 검토
   ├─ B: Staff → 독립 Reviewer 프로파일
   └─ C: Staff → 일시적 서브에이전트
                  ↓
④ Staff가 각 검수 의견을 확인
   → 조건별 사본을 최대 1회 수정
                  ↓
⑤ 실제 변경 내용과 시간·운영 문제 비교

입력 자료는 회의 원문, Staff 회의록 V1, JFlow 공통 운영 현황, GPTERS 24기 스터디 자료, 공통 평가 템플릿입니다. 세 조건 모두 동일한 원문과 V1에서 시작했고, 서로의 검수 결과는 보지 않도록 했습니다.

주로 확인한 것은 확정된 결정과 제안을 혼동했는지, 담당·기한을 임의로 만들었는지, ‘완료했다고 가정한 일’을 실제 완료로 기록했는지, GPTERS와 JFlow 업무가 누락됐는지였습니다.

A는 새로운 Staff 세션에서 자체 검수했습니다. B는 Staff가 message_agent로 독립 Reviewer 프로파일의 Bot Chat에 검수를 위임했습니다. C는 delegate_task로 일시적 서브에이전트를 생성해 검수를 맡겼습니다. Reviewer 프로파일과 일시적 서브에이전트는 다른 방식입니다.

3. 실제 결과: 무엇을 발견하고 수정했나?

구분

A: Staff 자체 검토

B: 독립 Reviewer

C: 서브에이전트

검수 의견

참고사항 누락 1건 지적

필수 수정 사항 0건

선택 보완 2건

회의록 본문 수정

1회

0회

0회

최종 회의록

참고사항 1건 추가

V1과 동일

V1과 동일

기록된 관측 시간

약 3분 49초

약 5분 21초

약 9분 36초

특이사항

새 Staff 세션 사용

자동 위임·응답 회수 성공

서브에이전트 API 호출 26회

시간은 조건별 관측 구간이 달라 엄밀한 속도 비교 수치는 아닙니다. 토큰 사용량과 실제 비용은 확인하지 못했습니다.

A. Staff는 어떤 부분을 고쳤을까?

A조건은 회의록에서 GPTERS 과제 글 2회 이상이라는 수료 안내와 기존 제출 횟수 미확인이 빠졌다고 지적했습니다.

원래 V1에는 커리큘럼과 다음 주 주제 후보가 정리돼 있었지만 이 참고사항은 없었습니다. A는 사본에 다음 문장을 추가했습니다.

별도 1주 차 과제 안내에는 과제 글 2회 이상이 수료 조건으로 기재돼 있다고 회의에서 설명했다. 기존 제출 횟수는 확인되지 않았다. 이는 참조 자료의 안내이며, 이번 주 작성 편수·담당·기한을 확정한 것이 아니다.

여기서 중요한 점이 있습니다. 이 내용은 JP가 지시한 업무가 아니라, Staff가 회의 중 자료를 보고 설명한 참고사항이었습니다. 저는 이 내용을 회의의 주요 논의 사항으로 기억하지 못했습니다.

따라서 한 건을 수정했다는 사실과 회의록 품질이 좋아졌다는 평가는 구분해야 합니다. A는 참고문장 한 건과 사본의 제목·상태 표시를 수정했지만, 실제 업무 결정이나 담당·기한을 고친 것은 아닙니다. 어쩌면 회의록에 꼭 필요하지 않은 내용을 추가한 것일 수도 있습니다.

B. 독립 Reviewer는 원본을 유지했습니다

Staff가 Reviewer 프로파일에 검수를 자동 위임했고, 실제 응답도 받았습니다. Reviewer는 반드시 수정해야 할 오류·누락·왜곡이 없다고 판단했습니다. Staff가 주요 근거를 다시 확인한 뒤 수정하지 않았고, Reviewer의 후속 확인도 PASS였습니다.

B 최종 회의록은 V1과 바이트 단위로 동일합니다. 다만 기존 Reviewer Bot Chat을 사용했으므로, 완전히 새로운 세션으로 맥락을 격리했다고 볼 수는 없습니다.

C. 서브에이전트는 두 가지를 제안했지만 수정하지 않았습니다

서브에이전트가 제안한 것은 다음 두 가지였습니다.

  • A와 마찬가지로 과제 글 2회 이상 안내와 제출 횟수 미확인을 참고사항으로 보완할 수 있다는 의견

  • GPTERS와 JFlow 업무 후보에 원문 발언 ID를 항목별로 붙여 근거 추적을 쉽게 하자는 의견

Staff는 둘 다 필수 오류가 아니라 선택적인 개선으로 판단했습니다. 그래서 수정 없이 V1을 유지했습니다.

흥미로운 점은 A와 C가 비슷한 내용을 발견하고도 수정 필요성은 다르게 판단했다는 것입니다. 결국 단순히 발견한 건수만 세기보다 실제 업무에 필요한 내용인지가 더 중요해 보였습니다.

왜 C가 이렇게 오래 걸렸을까?

서브에이전트는 빠를 것으로 기대했는데, 이번에는 가장 오래 걸렸습니다.

  • 1차 검수: 237.80초, API 호출 11회

  • 재검수: 219.64초, API 호출 15회

  • 합계: 서브에이전트 작업 시간 약 7분 37초, 관측 구간 약 9분 36초

본문 수정이 없는데도 재검수용 새 서브에이전트가 원문과 자료를 다시 읽고 전체 검수를 수행했습니다. 여기에 1차 서브에이전트가 사전 승인 없이 PDF 추출 패키지를 설치했다고 보고한 문제도 있었습니다. 설치 작업이 차지한 정확한 시간은 확인되지 않았습니다.

회의록 품질 판정은 PASS였지만, 실행 통제까지 잘 지켰다고 평가할 수는 없었습니다.

4. 이번 주에 더 많이 시간을 쓴 부분: 24시간 서버 환경

실험만 보면 단순하지만, 실제로는 검수보다 실행 환경을 맞추는 과정이 더 어려웠습니다.

처음에는 일반 Staff 세션에서 message_agent를 찾지 못해 B조건이 막혔습니다. 이후 Staff Bot Chat에서 Reviewer Bot Chat으로 전달하는 방식을 확인해 자동 위임에 성공했습니다.

또 Staff는 Docker 안의 /workspace/ai-hub를 사용하고, Reviewer는 호스트의 /home/jp/ai-hub를 사용하는 등 같은 자료의 접근 경로가 서로 달랐습니다. 이 때문에 마지막에 별도로 진행한 의도적 오류 2건 검출 시험도 Reviewer가 입력 파일을 읽지 못해 BLOCKED로 끝났습니다. 오류를 읽지 못했으므로 검출 능력은 평가하지 않았습니다.

원래는 멀티 에이전트를 JFlow에 연결하는 작업까지 진행하고 싶었습니다. 연결을 위한 구성은 상당 부분 준비됐지만, JFlow MCP의 실제 종단 간 동작은 이번 주에 검증하지 못했습니다. 서버 설정에 시간을 쓰느라 스터디 실험 자체에 투자할 시간도 줄었습니다.

돌아보면 메인 PC의 Hermes에서 먼저 실험했으면 더 빠르게 진행할 수 있었을 것 같습니다.

5. 실험하면서 새로 고민하게 된 점

멀티 에이전트가 꼭 필요한가?

이번 한 건의 실험만으로 A·B·C의 품질 우열을 말할 수는 없습니다. 독립적인 정답표가 없었고, 실제 오류 검출 시험도 파일 접근 문제로 중단됐습니다.

그런데 실험과 별개로, 각 에이전트와 실제 업무 대화를 이어갈 때 중요한 논의가 빠지는 문제를 반복해서 겪었습니다. 조건·옵션·변수가 늘어나면 요약을 할 때마다 빠지는 항목이 달라지고, 이전에 합의한 내용이 조금씩 바뀌기도 했습니다.

싱글 에이전트도 이렇게 흔들리는데, 여러 에이전트가 각자 다른 맥락을 가지고 작업하면 누락이 더 늘어나는 것은 아닐까요? 검수 에이전트를 추가하는 것이 오히려 복잡성과 비용을 늘릴 수도 있겠다는 생각이 들었습니다.

반대로 싱글 에이전트 하나에 잘 구조화된 기준 문서와 확정 결정, 변경 이력을 제공하는 방식도 충분히 의미 있을 것 같습니다. 실제 품질이 비슷하다면 시간과 토큰을 줄일 수 있다는 점도 장점이겠지요. 아직 결론은 아니고, 앞으로 비교해 보고 싶은 주제입니다.

무엇을 절대 바꾸면 안 되는지 남겨야 하지 않을까?

당장 적용해 보고 싶은 것은 복잡한 시스템보다 작은 검수 체크리스트입니다.

  • 처음 정한 목적·범위·금지 조건이 유지됐는가?

  • 이전 회의나 결과와 비교해 추가·삭제·변경·누락된 내용은 무엇인가?

  • 확정 결정·제안·가정·실제 완료를 구분했는가?

특히 여러 번 대화하고 문서를 수정할 때, 불변 조건을 별도로 남기고 최종 결과를 내기 전에 이전 기록과 대조하면 도움이 될 것 같습니다.

6. 다음 주에는 이렇게 해보려고 합니다

이번 주 경험을 바탕으로 스터디 실험과 개발은 메인 PC에서 먼저 진행하고, 동작이 확인된 내용만 24시간 서버에 적용하려고 합니다.

검토할 주제는 JFlow MCP 연동, 장기 기억 활용, Ouroboros 요구사항 인터뷰 실험, Hermes 프로파일별 실제 토큰 사용량 측정입니다. 모두 완료한 작업이 아니라 다음 주에 시도할 내용입니다.

또한 동일한 업무를 ‘싱글 에이전트 + 구조화된 문서’와 ‘멀티 에이전트’로 처리했을 때, 결과의 정확성·누락·수정 횟수·시간·토큰 사용량을 비교해 보고 싶습니다.


이번 주 가장 크게 느낀 점은 에이전트가 많다고 반드시 더 좋은 결과가 나오는 것은 아니라는 것입니다. 실제 업무에서는 검수 결과뿐 아니라 맥락 유지, 실행 시간, 환경 설정, 통제 가능성까지 함께 봐야 할 것 같습니다.

다른 분들은 멀티 에이전트를 사용할 때 맥락 누락이나 검수 비용을 어떻게 관리하고 계신가요?

실험 기록: AB-REV-001(A/B/C 회의록 검수), REV-DETECT-001(오류 주입 시험, 파일 접근 실패로 중단). 단일 회의록 사례이며 토큰·비용과 정답 기반 정확도는 측정하지 못했습니다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기