검수 AI, 원자료만 붙이면 싱글로 충분했다 — 4주 AI 팀 하네스 회고

소개

한눈에 보기

  • 목표: AI 팀(역할별 에이전트)을 만들고, 검수 AI를 붙이면 결과가 정말 좋아지는지 증명하기

  • 결과: 정답을 미리 아는 시험지로 재 봤습니다. 원자료만 붙여 주면 검수 지침이 없어도, 별도 검수 에이전트가 없어도, 글을 쓴 AI가 직접 검수해도 숨긴 틀린 문장 8개를 모두 찾았습니다.

  • 교훈: 4주 동안 "무엇을 시험할지"를 AI 추천에 맡겼다가 테스트 업무가 매주 바뀌었습니다. 테스트 업무는 내가, 내 반복 업무에서 골라야 합니다.

  • 한계: 시험지 1장, 모델 1종, 조건마다 1~2회 실행입니다. 숨긴 오류가 쉬웠을 수 있습니다.

무엇을 하려 했고, 왜

이번 GPTers 24기 「AI 팀 하네스」 스터디의 핵심 질문은 하나였습니다.

"내 AI가 잘했다는 것을 무엇으로 증명할 것인가?"

저는 여러 프로젝트를 관리하는 웹앱 JFlow를 만들고 있고, Hermes에서 역할을 나눈 AI 팀을 붙여 보고 있습니다. 총괄(Staff), 조사(Intel), 검수(Reviewer)입니다.

시기

한 일

확인한 것

남은 질문

10/8

Staff·Intel로 기술 조사 → 검토 → 수정

총괄 AI가 조사 AI의 과한 추천(4.4점 2건)을 보류시키고 근거 없는 주장을 지움

혼자 했어도 똑같이 걸렀을까?

10/15

같은 회의록을 혼자 검수 / 별도 검수 AI / 서브에이전트로 비교

셋 다 동작. 시간은 약 3분 49초 / 5분 21초 / 9분 36초

정답이 없어 누가 더 잘 잡는지 모름. 오류를 숨긴 시험은 검수 AI가 파일을 못 읽어 중단

10/22

정답 있는 시험지로 검수 AI 시험

아래 "결과와 배운 점"

—

10/15에 검수 AI는 회의록을 보고 "PASS, 지적 0건"이라고 했습니다. 그런데 정말 틀린 곳이 없었던 건지, 있었는데 못 찾은 건지 알 방법이 없었습니다. 그래서 이번에는 틀린 곳을 미리 알고 있는 시험지부터 만들었습니다.


진행 방법

사용한 도구

도구

역할

Hermes Agent

AI 에이전트 실행 환경. 24시간 서버(Ubuntu)와 개발 PC(Windows)에서 역할별 프로필(Staff·Intel·Reviewer)로 운영

GPT-6.1 Sol

검수 AI 모델 (모든 비교 조건에서 동일)

Hermes 작업 세션 (Claude)

원본 보고서 작성, 틀린 문장 삽입, 채점

JFlow

검수 대상 프로그램. 코드·설계 문서·개발 기록이 원자료

1단계: 정답 있는 시험지 만들기

① 원본 보고서: JFlow의 AI 위임 기능이 지금 어디까지 됐나 (1~2쪽)
   코드·설계 문서·개발 기록·서버 점검 결과 16개를 근거로 작성
        ↓  맞는 문장 8개를 몰래 틀리게 바꿈
② 시험지: 틀린 문장 8개가 숨은 복사본 → 검수 AI에게 줌
③ 정답지: 어디를 어떻게 바꿨는지 → 검수가 끝날 때까지 검수 AI는 못 봄
        ↓  시험지 + 원자료를 주고 "틀린 데를 찾아라" (몇 개인지는 안 알려 줌)
④ 채점: 8개 중 몇 개 찾았나 / 맞는 문장을 틀렸다고 했나 / 시간·토큰

숨긴 틀린 문장은 이런 것들입니다.

원래 (맞음)

바꿔 넣음 (틀림)

AI 작업이 끝나도 Task 완료는 사람이 확인한다

AI가 끝나면 Task도 자동 완료된다

서버에서는 아직 실행해 본 적 없다

서버에서도 검증이 끝났다

취소 기능은 이미 만들어져 있다

취소 기능이 없으니 다음에 만들어야 한다

저장할 때 파일 전체를 덮어쓴다

바뀐 것만 저장해서 안전하다

다음 과제는 승인 전 제안이다

다음 과제는 승인으로 확정됐다

문서만 읽어서는 티가 나지 않게 바꿨습니다. 원자료(코드, 개발 기록)와 대조해야만 찾을 수 있습니다.

2단계: 검수 요청 (실제 사용한 프롬프트)

모든 비교 조건에 아래 요청을 똑같이 보냈습니다. 파일 경로는 { }로 바꿨고, 실험 관리용 문장 1개는 뺐습니다.

기술 검증 보고서 검수 1회 요청입니다.
업무 지시: 「JFlow AI 업무 위임·MCP 연동 현황 기술 검증 보고 V1」의 사실 정확성, 구현·검증·제안·결정 상태의 구분, 근거 인용의 정확성, 중요 누락을 검수해 주세요. 이 보고서는 JP가 JFlow의 다음 개발 과제를 판단하는 데 쓰입니다.
허용 입력(다음 파일만 읽으세요):
1) 검수 대상: {보고서 파일}
2) {원자료 폴더} 아래 INDEX.md(출처 목록)와 원자료 사본
이 목록 이외의 파일·상위 폴더·다른 실험 결과·원본 저장소는 열람하지 마세요. 세션 검색·메모리 조회도 하지 마세요.
발견한 오류·근거(출처 ID와 줄)·수정 제안을 한국어로 보고해 주세요. 품질 판정 PASS/REVISE/BLOCK, findings별 ID·대상 위치·이유·근거·수정안을 포함해 주세요. 오류가 없다면 없다고 보고하세요. 형식 취향만으로 수정을 요구하지 마세요.
이번 검수는 한 번으로 종료하고 재검수·반복·파일 생성/수정은 하지 마세요. 결과는 최종 응답으로만 반환하세요. 읽은 파일 목록을 명시하세요.

비교한 검수 지침 3종 (위 요청은 같고, 검수 AI가 받는 지침만 다름)

조건

검수 AI가 받은 지침

지침 없음

위 요청만. 검수 역할 지침(SOUL.md) 없음

기존 검수 지침

위 요청 + 10/15부터 쓰던 검수 역할 지침 (근거·심각도·수정안 형식, 독립성 규칙)

꼼꼼한 지침

기존 + 아래 "검수 절차" 6항 추가

[검수 절차 — 이번 검수에 필수 적용]
1. 주장 원장: 검수 대상의 사실·상태·수치·범위·결정 주장을 문장과 표 행 단위로 빠짐없이 추출해 C01부터 번호를 붙이세요. 결론·표·근거·위험·다음 행동·불확실성 전 영역을 포함하세요.
2. 원본 직접 대조: 각 주장마다 허용 출처의 해당 부분을 직접 열어 확인하세요. 보고서가 붙인 출처 번호·줄 번호를 그대로 믿지 말고, 실제 내용이 그 주장을 뒷받침하는지 보세요. 코드 동작에 관한 주장은 문서 요약보다 코드 사본을 우선하고, 같은 주제의 문서가 여러 시점이면 작성 시점·커밋 순서를 확인해 최신 근거를 우선하세요.
3. 판정: 각 주장을 일치 / 상충 / 근거 없음 중 하나로 판정하세요. 상충과 근거 없음만 findings 후보가 됩니다.
4. findings 형식: ① 오류 주장(보고서 위치·짧은 인용) ② 독립 원본 근거(출처 ID·줄·핵심 구절) ③ 중요도(치명/중요/경미)와 실제 영향 ④ 수정안(근거가 부족하면 한정·삭제 방향) ⑤ 판단 수준: 확정(원본과 직접 상충) / 추론 / 확인 불가.
5. 근거를 찾지 못했다고 오류를 만들어내지 마세요. 원본으로 반박도 지지도 할 수 없으면 '확인 불가'로 표시하고 확정 결함과 구분하세요.
6. 응답 끝에 주장 원장 요약표(주장 ID·위치·판정·근거)를 붙이세요.

3단계: 글 쓴 AI가 직접 검수 (실제 사용한 프롬프트)

별도 검수 에이전트가 필요한지 보려고, 같은 대화에서 두 번 요청했습니다.

[1단계] JFlow AI 업무 위임·MCP 연동 현황 기술 검증 보고서 작성 업무다.
원자료: {원자료 폴더}
너는 이 원자료를 바탕으로 보고서를 작성했고, 그 결과물이 {보고서 파일} 이다. 지금은 제출 직전 단계다.
보고서 파일을 읽고, 네가 쓴 보고서의 핵심 결론을 4줄로 요약해 출력하라. 아직 검수는 하지 마라. 파일을 만들거나 수정하지 마라.

[2단계, 같은 대화에서]
방금 네가 작성한 보고서 내용을 검수해 줘.
(이하 업무 지시·허용 입력·출력 형식은 2단계 검수 요청과 동일)

검수 AI의 실제 응답 일부입니다. (파일 이름만 "보고서"로 바꿈)

F05. 위임 완료와 업무 Task 완료를 혼동
  대상: 보고서 L28, L50
  이유: 결과 reducer는 delegation과 Activity만 변경하며 Task.status를 done으로 바꾸지 않습니다.
  근거:
    S02 L13-19: delegation.status와 Task.status는 별도 필드.
    S03 L65-78: delegation·Activity만 변경.
    S03 L124-143: 별도 CONFIRM_COMPLETION에서 Task.status를 done으로 변경.
  수정안: "위임 완료는 업무 완료가 아니다. JP가 Task Detail의 위임 결과 전문을 확인한 뒤
          별도 완료 확인 절차를 거친다"로 정정하십시오.

결과와 배운 점

결과 ①: 검수 지침을 바꿔도 결과는 같았다

검수 AI

찾은 개수

맞는 문장을 틀렸다고 함

시간

출력 토큰

지침 없음

8 / 8

0

106초

3.9K

기존 검수 지침

8 / 8

0

121초

4.8K

꼼꼼한 지침

8 / 8

0

149초

8.3K

  • 기존 지침은 한 번 더 돌려도 8/8이었습니다.

  • 실제 과거 결정 문서(원래 있던 불일치 5개)로도 시험했는데, 모두 5개를 다 찾았습니다.

  • 꼼꼼한 지침은 더 찾지 못했고, 시간은 23%, 출력 토큰은 72% 늘었습니다.

결과 ②: 글 쓴 AI가 직접 검수해도 같았다

방식

찾은 개수

맞는 문장을 틀렸다고 함

시간

글 쓴 AI가 같은 대화에서 직접 검수

8 / 8

0

93초

같은 AI를 새 대화로 열어 검수

8 / 8

0

108초

검수 전용 AI를 새 대화로 열어 검수

8 / 8

0

144초

  • "글 쓴 AI"는 흉내입니다. 제가 넣은 틀린 문장을 "네가 쓴 보고서"라고 알려 줬습니다.

  • 이 비교는 결과 ①과 다른 PC 환경에서 돌렸습니다. 같은 표 안에서만 비교해 주세요.

이번 시험에서는 원자료만 붙여 주면 특별한 지침도, 별도 검수 에이전트도 필요 없었습니다. 에이전트를 나눌수록 시간과 토큰만 더 들었습니다.

덤: 검수 AI가 내 프로그램의 진짜 버그를 찾았다

틀린 문장을 숨기지 않은 원본 보고서도 검수시켰더니, 검수 AI가 보고서 문장이 아니라 JFlow 자체의 실제 문제를 짚었습니다.

검수 AI가 찾은 문제

지적 빈도

AI에게 맡긴 사이 서버가 재시작되면 화면이 계속 "작업 중"으로 남고, 다시 맡겨도 거절됨

자주 지적

취소를 누르면 실제로 멈췄는지 확인하지 않고 "취소됨"을 표시함

자주 지적

내부망 접근 통제 누락 (AI 위임 기능에 인증이 없음)

검수 11번 중 1번

세 가지 모두 원본 코드에서 직접 확인했습니다. 그래서 JFlow의 다음 개발 순서를 접근 통제 → 상태 정리 순으로 바꾸는 것을 검토하고 있습니다.

나만의 꿀팁: 검수 AI의 PASS는 어디까지 믿을 수 있나

믿어도 되는 것

믿으면 안 되는 것

보고서에 적힌 문장이 원자료와 다른지

보고서에서 빠진 위험이 없는지

근거: 모든 시험에서 8/8, 오탐 0

근거: 가장 위험한 보안 문제는 11번 중 1번만 지적

  • 원자료가 있는 보고서는 검수 AI를 한 번 돌리는 것으로 충분합니다. 지침을 공들여 쓸 필요는 없었습니다.

  • PASS는 "틀린 말이 없다"이지 "빠진 것이 없다"가 아닙니다. 중요한 일이면 "빠진 위험은 뭐냐"를 따로 묻거나 사람이 봅니다.

시행착오: 무엇을 시험할지를 AI에게 맡겼다

솔직히 4주 동안 "좋아졌다"는 증거는 만들지 못했습니다. 스터디 4주차의 목표는 "내 실제 실패를 고치고, 같은 시험으로 개선 전후를 비교하는 것"이었는데, 저는 비교할 기준선부터 없었습니다.

원인은 테스트 업무가 매주 바뀐 것입니다. 기술 조사 → 회의록 → JFlow 기술 보고서 순으로 바뀌었습니다. 매번 AI와 상의해서 정했고, AI들은 그럴듯한 이유를 댔습니다. 나중에 기록을 보니 이유는 대부분 같았습니다.

"코드라는 객관적 근거가 있고, 오류 탐지 비교가 명확하다."

AI는 채점하기 쉬운 업무를 골랐습니다. 그 결과 원래 잘하던 곳만 쟀고, 이번 시험도 모두 만점이었습니다. 개선할 여지가 없는 곳을 잰 셈입니다.

돌아보면 제 진짜 반복 업무는 JFlow 개발 흐름이었습니다.

JP와 Claude가 설계 → Claude가 요구 사양 작성 → Codex가 개발·테스트 → Claude가 검수

이미 여러 AI가 나눠 일하는 흐름이고, 실제로 나중에 발견된 버그도 있었습니다. 여기에 별도 검수 AI를 붙였을 때 버그를 더 잡는지 쟀다면, 훨씬 명확한 결론이 나왔을 것입니다.

테스트 업무를 고를 때 제가 쓸 질문은 네 가지입니다.

  1. 자주 반복하는 일인가?

  2. AI 결과가 틀려서 내가 직접 고치거나 다시 시킨 적이 있는가?

  3. AI가 무엇을 근거로 만들었는지 원자료가 남아 있는가?

  4. 결과가 좋아지면 내 행동이나 시간이 실제로 바뀌는가?

AI가 추천하는 "측정하기 좋은 업무"보다, 이 네 질문에 답할 수 있는 업무가 먼저입니다.

도움이 필요한 부분

  • 실제 반복 업무를 테스트 업무로 어떻게 고정하셨나요?

  • 보고서에서 빠진 위험을 검수 AI가 찾는지는 어떻게 재시나요?

  • 정답지를 사람이 만들지 않고, Git 기록 같은 실제 데이터로 만들어 보신 분 계신가요?

앞으로의 계획 (다음에 해 볼 후보)

JFlow 저장소에는 개발 작업 기록 47건과, 나중에 버그를 고친 수정 커밋 16건이 남아 있습니다. 이 수정 커밋을 정답지로 쓰는 시험을 후보로 보고 있습니다.

기능 개발 당시 코드로 되돌림 → 검수 AI에게 보여 줌 → 나중에 발견된 그 버그를 미리 찾는가?

일부러 오류를 숨길 필요가 없고, 정답이 진짜 버그라 "시험이 너무 쉬웠다"는 문제도 줄일 수 있습니다. 다만 수정 커밋 중에는 요구 사항 변경도 섞여 있어, 실제 결함만 골라내는 작업이 먼저 필요합니다.

한계

  • 시험지 1장, 모델 1종(GPT-6.1 Sol), 조건마다 1~2회 실행입니다. 통계적 결론이 아니라 "이번 사례에서는 차이가 없었다"까지만 말할 수 있습니다.

  • 숨긴 오류가 쉬웠을 수 있습니다. 모든 조건이 만점이라 방식 사이의 차이를 가려내지 못했습니다.

  • 보고서 작성, 오류 삽입, 채점을 같은 AI 작업 세션이 맡았습니다.

  • "글 쓴 AI 자기 검수"는 흉내입니다. AI가 스스로 착각해서 쓴 오류는 다시 봐도 맞다고 믿을 수 있어, 실제로는 이보다 약할 수 있습니다.

  • 서브에이전트 방식은 이번에 정답 시험지로 다시 재지 않았습니다. 10/15에 가장 느렸다는 관찰만 있습니다.


도움 받은 글

2
지피터스 뉴스레터

이번 주 AI, 딱 쓸 것만

매주 월요일 오후,
읽고 바로 써먹을 AI 소식만