소개
한눈에 보기
목표: AI 팀(역할별 에이전트)을 만들고, 검수 AI를 붙이면 결과가 정말 좋아지는지 증명하기
결과: 정답을 미리 아는 시험지로 재 봤습니다. 원자료만 붙여 주면 검수 지침이 없어도, 별도 검수 에이전트가 없어도, 글을 쓴 AI가 직접 검수해도 숨긴 틀린 문장 8개를 모두 찾았습니다.
교훈: 4주 동안 "무엇을 시험할지"를 AI 추천에 맡겼다가 테스트 업무가 매주 바뀌었습니다. 테스트 업무는 내가, 내 반복 업무에서 골라야 합니다.
한계: 시험지 1장, 모델 1종, 조건마다 1~2회 실행입니다. 숨긴 오류가 쉬웠을 수 있습니다.
무엇을 하려 했고, 왜
이번 GPTers 24기 「AI 팀 하네스」 스터디의 핵심 질문은 하나였습니다.
"내 AI가 잘했다는 것을 무엇으로 증명할 것인가?"
저는 여러 프로젝트를 관리하는 웹앱 JFlow를 만들고 있고, Hermes에서 역할을 나눈 AI 팀을 붙여 보고 있습니다. 총괄(Staff), 조사(Intel), 검수(Reviewer)입니다.
시기
한 일
확인한 것
남은 질문
10/8
Staff·Intel로 기술 조사 → 검토 → 수정
총괄 AI가 조사 AI의 과한 추천(4.4점 2건)을 보류시키고 근거 없는 주장을 지움
혼자 했어도 똑같이 걸렀을까?
10/15
같은 회의록을 혼자 검수 / 별도 검수 AI / 서브에이전트로 비교
셋 다 동작. 시간은 약 3분 49초 / 5분 21초 / 9분 36초
정답이 없어 누가 더 잘 잡는지 모름. 오류를 숨긴 시험은 검수 AI가 파일을 못 읽어 중단
10/22
정답 있는 시험지로 검수 AI 시험
아래 "결과와 배운 점"
—
10/15에 검수 AI는 회의록을 보고 "PASS, 지적 0건"이라고 했습니다. 그런데 정말 틀린 곳이 없었던 건지, 있었는데 못 찾은 건지 알 방법이 없었습니다. 그래서 이번에는 틀린 곳을 미리 알고 있는 시험지부터 만들었습니다.
진행 방법
사용한 도구
도구
역할
Hermes Agent
AI 에이전트 실행 환경. 24시간 서버(Ubuntu)와 개발 PC(Windows)에서 역할별 프로필(Staff·Intel·Reviewer)로 운영
GPT-6.1 Sol
검수 AI 모델 (모든 비교 조건에서 동일)
Hermes 작업 세션 (Claude)
원본 보고서 작성, 틀린 문장 삽입, 채점
JFlow
검수 대상 프로그램. 코드·설계 문서·개발 기록이 원자료
1단계: 정답 있는 시험지 만들기
한국사이트 스크린샷
① 원본 보고서: JFlow의 AI 위임 기능이 지금 어디까지 됐나 (1~2쪽)
코드·설계 문서·개발 기록·서버 점검 결과 16개를 근거로 작성
↓ 맞는 문장 8개를 몰래 틀리게 바꿈
② 시험지: 틀린 문장 8개가 숨은 복사본 → 검수 AI에게 줌
③ 정답지: 어디를 어떻게 바꿨는지 → 검수가 끝날 때까지 검수 AI는 못 봄
↓ 시험지 + 원자료를 주고 "틀린 데를 찾아라" (몇 개인지는 안 알려 줌)
④ 채점: 8개 중 몇 개 찾았나 / 맞는 문장을 틀렸다고 했나 / 시간·토큰
숨긴 틀린 문장은 이런 것들입니다.
원래 (맞음)
바꿔 넣음 (틀림)
AI 작업이 끝나도 Task 완료는 사람이 확인한다
AI가 끝나면 Task도 자동 완료된다
서버에서는 아직 실행해 본 적 없다
서버에서도 검증이 끝났다
취소 기능은 이미 만들어져 있다
취소 기능이 없으니 다음에 만들어야 한다
저장할 때 파일 전체를 덮어쓴다
바뀐 것만 저장해서 안전하다
다음 과제는 승인 전 제안이다
다음 과제는 승인으로 확정됐다
문서만 읽어서는 티가 나지 않게 바꿨습니다. 원자료(코드, 개발 기록)와 대조해야만 찾을 수 있습니다.
2단계: 검수 요청 (실제 사용한 프롬프트)
모든 비교 조건에 아래 요청을 똑같이 보냈습니다. 파일 경로는 { }로 바꿨고, 실험 관리용 문장 1개는 뺐습니다.
기술 검증 보고서 검수 1회 요청입니다.
업무 지시: 「JFlow AI 업무 위임·MCP 연동 현황 기술 검증 보고 V1」의 사실 정확성, 구현·검증·제안·결정 상태의 구분, 근거 인용의 정확성, 중요 누락을 검수해 주세요. 이 보고서는 JP가 JFlow의 다음 개발 과제를 판단하는 데 쓰입니다.
허용 입력(다음 파일만 읽으세요):
1) 검수 대상: {보고서 파일}
2) {원자료 폴더} 아래 INDEX.md(출처 목록)와 원자료 사본
이 목록 이외의 파일·상위 폴더·다른 실험 결과·원본 저장소는 열람하지 마세요. 세션 검색·메모리 조회도 하지 마세요.
발견한 오류·근거(출처 ID와 줄)·수정 제안을 한국어로 보고해 주세요. 품질 판정 PASS/REVISE/BLOCK, findings별 ID·대상 위치·이유·근거·수정안을 포함해 주세요. 오류가 없다면 없다고 보고하세요. 형식 취향만으로 수정을 요구하지 마세요.
이번 검수는 한 번으로 종료하고 재검수·반복·파일 생성/수정은 하지 마세요. 결과는 최종 응답으로만 반환하세요. 읽은 파일 목록을 명시하세요.
비교한 검수 지침 3종 (위 요청은 같고, 검수 AI가 받는 지침만 다름)
조건
검수 AI가 받은 지침
지침 없음
위 요청만. 검수 역할 지침(SOUL.md) 없음
기존 검수 지침
위 요청 + 10/15부터 쓰던 검수 역할 지침 (근거·심각도·수정안 형식, 독립성 규칙)
꼼꼼한 지침
기존 + 아래 "검수 절차" 6항 추가
[검수 절차 — 이번 검수에 필수 적용]
1. 주장 원장: 검수 대상의 사실·상태·수치·범위·결정 주장을 문장과 표 행 단위로 빠짐없이 추출해 C01부터 번호를 붙이세요. 결론·표·근거·위험·다음 행동·불확실성 전 영역을 포함하세요.
2. 원본 직접 대조: 각 주장마다 허용 출처의 해당 부분을 직접 열어 확인하세요. 보고서가 붙인 출처 번호·줄 번호를 그대로 믿지 말고, 실제 내용이 그 주장을 뒷받침하는지 보세요. 코드 동작에 관한 주장은 문서 요약보다 코드 사본을 우선하고, 같은 주제의 문서가 여러 시점이면 작성 시점·커밋 순서를 확인해 최신 근거를 우선하세요.
3. 판정: 각 주장을 일치 / 상충 / 근거 없음 중 하나로 판정하세요. 상충과 근거 없음만 findings 후보가 됩니다.
4. findings 형식: ① 오류 주장(보고서 위치·짧은 인용) ② 독립 원본 근거(출처 ID·줄·핵심 구절) ③ 중요도(치명/중요/경미)와 실제 영향 ④ 수정안(근거가 부족하면 한정·삭제 방향) ⑤ 판단 수준: 확정(원본과 직접 상충) / 추론 / 확인 불가.
5. 근거를 찾지 못했다고 오류를 만들어내지 마세요. 원본으로 반박도 지지도 할 수 없으면 '확인 불가'로 표시하고 확정 결함과 구분하세요.
6. 응답 끝에 주장 원장 요약표(주장 ID·위치·판정·근거)를 붙이세요.
3단계: 글 쓴 AI가 직접 검수 (실제 사용한 프롬프트)
별도 검수 에이전트가 필요한지 보려고, 같은 대화에서 두 번 요청했습니다.
[1단계] JFlow AI 업무 위임·MCP 연동 현황 기술 검증 보고서 작성 업무다.
원자료: {원자료 폴더}
너는 이 원자료를 바탕으로 보고서를 작성했고, 그 결과물이 {보고서 파일} 이다. 지금은 제출 직전 단계다.
보고서 파일을 읽고, 네가 쓴 보고서의 핵심 결론을 4줄로 요약해 출력하라. 아직 검수는 하지 마라. 파일을 만들거나 수정하지 마라.
[2단계, 같은 대화에서]
방금 네가 작성한 보고서 내용을 검수해 줘.
(이하 업무 지시·허용 입력·출력 형식은 2단계 검수 요청과 동일)
검수 AI의 실제 응답 일부입니다. (파일 이름만 "보고서"로 바꿈)
F05. 위임 완료와 업무 Task 완료를 혼동
대상: 보고서 L28, L50
이유: 결과 reducer는 delegation과 Activity만 변경하며 Task.status를 done으로 바꾸지 않습니다.
근거:
S02 L13-19: delegation.status와 Task.status는 별도 필드.
S03 L65-78: delegation·Activity만 변경.
S03 L124-143: 별도 CONFIRM_COMPLETION에서 Task.status를 done으로 변경.
수정안: "위임 완료는 업무 완료가 아니다. JP가 Task Detail의 위임 결과 전문을 확인한 뒤
별도 완료 확인 절차를 거친다"로 정정하십시오.
결과와 배운 점
결과 ①: 검수 지침을 바꿔도 결과는 같았다
검수 AI
찾은 개수
맞는 문장을 틀렸다고 함
시간
출력 토큰
지침 없음
8 / 8
0
106초
3.9K
기존 검수 지침
8 / 8
0
121초
4.8K
꼼꼼한 지침
8 / 8
0
149초
8.3K
기존 지침은 한 번 더 돌려도 8/8이었습니다.
실제 과거 결정 문서(원래 있던 불일치 5개)로도 시험했는데, 모두 5개를 다 찾았습니다.
꼼꼼한 지침은 더 찾지 못했고, 시간은 23%, 출력 토큰은 72% 늘었습니다.
결과 ②: 글 쓴 AI가 직접 검수해도 같았다
한국어 웹사이트 스크린샷
방식
찾은 개수
맞는 문장을 틀렸다고 함
시간
글 쓴 AI가 같은 대화에서 직접 검수
8 / 8
0
93초
같은 AI를 새 대화로 열어 검수
8 / 8
0
108초
검수 전용 AI를 새 대화로 열어 검수
8 / 8
0
144초
"글 쓴 AI"는 흉내입니다. 제가 넣은 틀린 문장을 "