본문으로 건너뛰기

[Claude Code] AI가 "보냈습니다"라고 할 때, 진짜 보냈는지 누가 확인하나 — 실행하는 AI와 판정하는 AI를 갈라놨다

sophie

2026.08.06

[Claude Code] AI가 "보냈습니다"라고 할 때, 진짜 보냈는지 누가 확인하나 — 실행하는 AI와 판정하는 AI를 갈라놨다 본문 이미지

📝 한줄 요약

외부로 나가는 중요한 메일을 AI에게 맡기되, 작성한 AI가 스스로 "완료"를 선언하지 못하게 만들었습니다. 별도의 검증 AI가 "반박" 임무로 돌아 통과시켜야만 초안이 생성되고, 통과 못 하면 그 자리에서 멈춥니다. 그리고 모든 판정은 한 줄짜리 영수증으로 남습니다.

바쁘시면 이것만 읽어도 돼요:

  • 사고는 늘 같은 모양이었다 — 작성한 AI가 "됐어요"라고 했고, 틀린 건 사람이 나중에 발견했다

  • 그래서 실행하는 AI와 완료를 판정하는 AI를 분리했다. 검증 AI는 읽기 전용·권한 없음·임무는 "통과가 아니라 반박"

  • 통과(PASS) 전에는 초안조차 만들어지지 않는다 — 게이트가 코드로 막는다

  • 모든 게이트 판정은 날짜 | 대상 | 무엇이 걸렸나 | 결과 | 검증 실행 한 줄 영수증으로 쌓인다

  • 스터디에서 배운 개념으로는 이게 Code as Gate(코드가 막는 자리) + Proof Artifact(증거가 남는 자리)이자 "실행한 자가 스스로 완료를 선언하지 않게 하는 분업"이었다

🎯 이런 분들께 도움돼요

  • AI에게 외부 발송·중요 문서를 맡기는데, "했다는데 실제론 안 했거나 틀렸던" 경험이 있는 분

  • 같은 AI에게 자기 결과물을 검수시키는 게 어딘가 불안한 분

  • AI가 "테스트 통과" "업로드 완료"라고 할 때 그걸 뭘로 믿어야 하나 고민되는 분

🛠️ 사용한 도구

  • 도구: Claude Code (VSCode)

  • 모델: Claude 최신 모델

  • 구조물: 외부 발송 게이트 스킬(send-gate) + 독립 검증 서브에이전트 + 판정 영수증 원장(gate-log)

아래 본문은 수업에서 안내한 여섯 블록 구조(①무슨 업무 → ②설계 계약 → ③어디서 막혔나 → ④무엇을 바꿨나 → ⑤실행 영수증 → ⑥무엇이 달라졌나)를 그대로 따릅니다.


📮 ① 무슨 업무인가 — 외부 발송을 AI에게 맡기다

AI 비서에게 외부로 나가는 회신을 맡깁니다. 투자사·규제기관·협력 의료기관·로펌으로 나가는 메일 같은 것들이요. 문제는 이게 틀리면 되돌리기 어려운 일이라는 겁니다. 한 번 보내면 주워 담을 수 없습니다.

그래서 "그냥 잘 써줘"로 두지 않고, 통과하지 못하면 발송이 멈추는 게이트(하네스)로 만들기로 했습니다. 왜 굳이 게이트냐 — 다음 블록의 사고들 때문입니다.

📐 ② 설계 계약 — 언제 켜지고, 무엇을 통과해야 하나

먼저 게이트가 언제 반드시 켜지는지를 기계적으로 못박았습니다. 애매하면 켜지도록.

  • 트리거(언제 켜지나): 수신자가 외부(투자사·규제·협력 의료기관·로펌)이거나 / 내용에 법률·계약 성격이 있거나 / 숫자(매출·비율 등)가 실리면 → 셋 중 하나라도 걸리면 무조건 풀 게이트

  • 통과 기준: 근거와 어긋나는 "차단급" 결함이 0건이어야 통과

  • 사람 승인: 게이트를 통과해도 실제 발송은 항상 사람(저)이 누른다

  • 면제: 순수 일정 조율·단순 수신 확인처럼 아무 실질 내용도 새로 싣지 않는 경우만. "간단하니까 생략"은 없음

AI에게는 이렇게 정해줬습니다.

외부로 나가는 메일·문서는 세 가지 중 하나라도 걸리면 검증 게이트를 반드시 거쳐.
법률·계약 / 숫자 포함 / 외부 수신자(투자사·규제·의료기관·로펌).
애매하면 게이트를 켜. "간단하니까 생략"은 없어.

💥 ③ 어디서 막혔나 — 사고는 늘 같은 모양이었다

이 게이트를 만든 건 실제로 몇 번 아찔했기 때문입니다. 공통점이 하나 있었어요. 작성한 AI가 스스로 "됐습니다"라고 했고, 잘못된 건 사람이 한참 뒤에 발견했다는 것.

  • 조건이 붙어야 하는 답인데 조건절이 통째로 빠져서, "가능합니다"만 상대에게 나갈 뻔했습니다

  • 숫자 단위가 어긋나(배수 표기 오류) 실제와 다른 값이 실릴 뻔했습니다

  • 검토 결과를 옮기면서 엉뚱한 조항 번호로 인용할 뻔했습니다

문제는 개별 실수가 아니라 구조였습니다. 일을 한 당사자에게 "다 했어?"라고 물으면 거의 항상 "네"라고 합니다. 사람도 그렇고 AI는 더 그렇습니다. 검사하는 쪽과 일한 쪽이 같으면, "실행했다"가 그대로 "완료됐다"로 둔갑합니다.

🔀 ④ 무엇을 바꿨나 — 실행하는 AI와 판정하는 AI를 갈라놓기

한국어 텍스트가 있는 페이지의 스크린샷

가장 작게, 그러나 핵심을 바꿨습니다. 초안을 쓴 AI에게 검수를 맡기지 않기로 한 겁니다. 대신 별도의 검증 AI를 세우고 세 가지 제약을 걸었습니다.

  • 권한 없음: 읽기 전용 도구만. 파일을 고치거나 메일을 보낼 수 없습니다

  • 맥락 공유 안 함: 초안을 쓴 AI의 사고 과정을 물려받지 않습니다. 초안과 근거 자료만 새로 받습니다

  • 임무는 반박: "통과시키는 게 성공이 아니라 결함을 찾는 게 성공이다. 애매하면 막아라."

그리고 이 검증은 "권고"가 아니라 차단입니다. 검증이 PASS를 내기 전에는 메일 초안 자체가 생성되지 않습니다. "일단 초안 만들고 나중에 검토"가 아니라, "검증을 통과해야 비로소 초안이 존재"하는 순서 — 검토를 건너뛸 방법 자체가 사라집니다.

게이트가 진짜 막는지 일부러 시험도 해봤습니다. 결함이 있는 초안(조건절 누락·숫자 오류)을 만들어 밀어넣어, 막히는지·막힌다면 무엇을 짚는지 확인하는 리허설이었죠. 수업 표현으로는 이게 확장 과제인 "부러뜨려 보기" — "게이트가 실제로 막나요? 막지 못했다면 그 자리는 아직 게이트가 아니다"였습니다. (이 이야기는 다음 편에서 본격적으로 다룹니다.)

나중에 스터디에서 알게 됐는데, 이 구조에 이미 이름이 있었습니다. 수업에서는 이걸 "실행을 소유하는 것과 완료를 판정하는 것의 분업 — 실행한 자가 스스로 완료를 선언하지 않게 하는 것"이라고 불렀습니다. 사고를 겪으며 만든 게, 수업에서 정리한 개념과 같은 그림이었던 거죠.

🧾 ⑤ 실행 영수증 — 오늘 실제로 돌아간 두 건

한국어와 중국어가 포함된 페이지 스크린샷

이 게이트는 개념이 아니라 매일 도는 배관입니다. 오늘만 해도 외부 협력사에 나가는 회신 두 건이 이 게이트를 통과했습니다 — 하나는 정책 안내 회신, 다른 하나는 "확인에 시간이 더 필요하다"는 일정 지연 통지. 수업에서 말한 영수증 네 가지(Trace·Proof·Verdict·Repair)로 정리하면 이렇습니다.

  • Trace(무엇을 불렀나): 두 건 모두 독립 검증 AI를 반박 임무로 호출. 특히 두 번째 건은 ①우리가 밝히면 안 되는 내부 사정이 새지 않았는가 ②"상대가 우리 확인을 기다리기로 했다"는 서술이 실제 상대 문면으로 뒷받침되는가를 집중해서 봄

  • Proof(증거): 각 판정이 한 줄 영수증으로 원장에 남음

2026-08-06 | 외부 협력사 정책 안내 회신 | 외부 수신자 | 통과(차단 0) | 검증 실행 완료
2026-08-06 | 외부 협력사 일정 지연 통지 | 법률 인접·외부 수신자 | 통과(차단 0·경미 2건 수정) | 독립 검증 실행 완료
  • Verdict(판정): 두 건 다 원문 대조로 확인된 뒤에야 통과(PASS) → 그제야 초안 생성

  • Repair(안 됐다면 뭘 고쳤나): 두 번째 건은 문구 중복·모호한 표현 2곳을 수정한 뒤 재통과

지금까지 40건 가까이가 이 원장에 쌓였고, 그중에는 검증 AI가 실제로 발송을 멈춰 세운 차단급 사례들도 있습니다. 이게 수업에서 말한 Proof Artifact(증거가 남는 자리)입니다 — "보냈습니다"라는 말 대신, 언제 무엇이 무슨 판정으로 통과했는지가 남습니다.

📊 ⑥ 무엇이 달라졌나

항목

Before

After

"완료"를 선언하는 주체

작성한 AI 스스로

독립 검증 AI가 반박 후 통과시킬 때만

발송 전 오류 발견

사람이 나중에 발견

게이트가 그 자리에서 정지

통과의 증거

없음 (기억·구두)

gate-log 영수증 원장 한 줄씩

초안 생성 시점

먼저 만들고 나중에 검토

검증 PASS 후에만 생성

검수자

작성자와 동일

권한 없는 별도 AI (반박 임무)

다음에 개선할 한 가지: 영수증 원장을 자동 집계해서 "차단급이 몇 건 잡혔고 오탐이 몇 건인지"를 수치로 만드는 것. 신뢰가 느낌이 아니라 숫자가 되는 단계입니다.


📋 재사용 가능한 프롬프트

프롬프트 1: 실행자와 분리된 검증 AI 소환

지금부터 이 결과물의 반박을 맡을 검증자 역할을 해줘. 통과시키는 게 아니라 결함을 찾는 게 성공이야. 규칙: (1) 읽기 전용만 사용하고 아무것도 수정·발송하지 마 (2) 내가 만든 근거 자료와 결과물만 새로 받아서 봐 (3) 모든 주장에 근거 원문을 나란히 대조하고, 근거가 안 붙거나 원문과 어긋나면 "차단"으로 세워. 애매하면 막아. 마지막에 통과/차단을 한 줄로 판정해줘. [결과물]과 [근거 자료]는 여기 있어: ...

프롬프트 2: 통과를 차단으로 만들기

이 검증이 "통과(PASS)"를 내기 전에는 최종 결과물(초안·업로드·발송)을 절대 만들지 마. 통과 전에 결과물을 먼저 만드는 건 금지야. 통과했으면 그때 만들고, 무엇이 통과됐는지 날짜 | 대상 | 걸린 항목 | 결과 | 검증 실행을 한 줄 로그로 남겨줘.

프롬프트 3: 판정 영수증 남기기

방금 검증을 통과/차단한 결과를 로그 파일에 한 줄로 추가해줘. 형식: 날짜 | 무슨 작업 | 왜 게이트가 켜졌나 | 결과(통과/차단 N건) | 검증 실행 표시. 나중에 "언제 뭐가 왜 통과·차단됐는지"를 되짚을 수 있게.


개념 출처 밝힘: 이 글의 "Code as Gate(코드가 막는 자리)", "Proof Artifact(증거가 남는 자리)", "SAF/C-SAF(실행 소유와 완료 판정의 분업)", 그리고 본문의 여섯 블록 구조는 제가 청강한 에이전트 하네스 스터디에서 배운 개념입니다. 공식 제품 이름이나 업계 표준이 아니라 수업에서 쓰는 용어예요. 우리 쪽 send-gate 스킬과 gate-log 영수증은 그 개념의 한 가지 구현입니다.

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.06

"실행한 쪽과 검수하는 쪽이 같으면 '됐다'가 자동으로 나온다"는 구조적 진단이 정확해서 읽으면서 고개가 끄덕여졌어요. 개별 실수가 아니라 구조 문제라는 걸 실제 사고를 세 번 겪고 나서 발견하신 게 더 설득력 있었습니다.

검증 AI에게 "통과가 아니라 반박이 성공"이라고 임무를 뒤집어 준 것도 인상적이었고, "부러뜨려 보기"로 결함 있는 초안을 직접 밀어넣어 게이트가 진짜 막는지 확인하신 부분은 — 만든 것을 신뢰하는 게 아니라 직접 부수어 본 거잖아요. gate-log 영수증이 40건 쌓이면 "보냈다는 느낌"이 "보낸 날짜·판정·근거"로 바뀌는 게 맞는 방향 같아요.

다음 편 "부러뜨려 보기" 상세 기대하고 있을게요 🐈‍⬛

자연어회계처리 프로필 이미지

PASS 전에는 초안 생성 자체를 코드로 막아버린 부분은 생각지도 못한 핵심이네요!! 한 줄 영수증으로 판정을 누적하는 피드백 루프까지 아주 깔끔한것 같습니다.

꾸
꾸기작2026.08.09

sophie님, 검증하는 쪽에 읽기 권한만 주고 쓸 수 있는 힘은 아예 빼두신 대목이 제일 단단해 보였습니다. 권한부터 잘랐네요. 판정하는 쪽이 손을 댈 수 있으면 결국 고쳐놓고 통과시키게 되니까요.

영수증 한 줄에 날짜, 대상, 무엇이 걸렸나, 결과, 검증 실행까지 다섯 칸을 넣으신 것도 봤습니다. 이 칸이 크네요. 통과 여부만 남겨두면 나중에 왜 막혔는지를 다시 못 찾으니까요.

사고가 늘 같은 모양이었다고 쓰신 줄도 오래 남습니다. 작성한 쪽이 됐다고 말했고 틀린 건 사람이 나중에 발견했다는 문장이요. 모양이 같았던 거죠. 개별 실수로 보면 다음엔 조심하자로 끝나는데, 같은 모양이라고 본 순간 구조를 건드리게 되고요.

메일이 밖으로 나가는 자리라 이 정도로 잠가두신 게 이해가 갑니다. 이 게이트를 어디까지 넓히실지가 궁금해집니다. 다음 편 기다리겠습니다.

Giacomo 프로필 이미지
Giacomo2026.08.11

외부 수신자이거나 법률·계약 내용 또는 숫자가 들어가면 검증을 켜고, 작성 AI와 검증 AI의 권한과 맥락까지 갈라놓은 설계가 분명합니다. 외부 협력사 회신 두 건을 실제 게이트에 통과시켰고, 그중 한 건인 일정 지연 통지는 경미한 표현 2곳을 고쳐 재통과시켰으며, 지금까지 약 40건의 판정 기록도 남겼어요. 역할 분리가 이름에 그치지 않고 실제 권한과 입력의 차이로 내려갔습니다.

한편 검증 AI가 초안과 근거를 읽어 반박한다고 하면서, `PASS` 전에는 초안 자체가 생성되지 않는다고 적은 대목은 단계 이름이 서로 충돌합니다. 검증할 대상은 먼저 있어야 하므로, 여기서는 내부 검토본과 외부로 보낼 최종 초안을 별도 상태로 두는 편이 맞습니다. 발송할 수 없는 검토본을 만든 뒤 독립 검증을 거치고, 통과한 내용으로만 최종 초안을 확정하는 순서라면 본문의 리허설과도 맞습니다.

검증 뒤 본문이나 첨부가 달라지면 기존 `PASS`와 사람 승인을 무효로 하고, 같은 내용일 때만 발송 단계로 넘기는 경계도 붙여둘 만합니다. 그러면 ‘발송 불가 검토본 → 독립 검증 → 사람 승인 → 발송’이 한 줄로 이어지고, 작성자가 자기 완료를 선언하지 못하게 한 원칙도 끝까지 유지돼요.

판정 기록과 실제 발송 기록은 맡는 증거가 다릅니다. 게이트 기록은 내용이 기준을 통과했다는 사실을, 발송 확인은 그 내용이 실제로 나갔다는 사실을 남겨야 해요. 대표 회신에서 검토본, 검증 결과, 사람 승인, 발송 확인이 같은 내용으로 이어지는지만 맞춰보면 제목의 ‘진짜 보냈는지’까지 증거로 닫을 수 있습니다.

조건절 누락, 단위 오류, 조항 오인을 따로 흩어진 실수로 보지 않고 작성자가 자기 결과를 판정하던 구조의 문제로 묶어낸 진단이 날카로웠습니다. 통과한 건과 실제로 고쳐 재통과한 건을 구분해 남긴 원장 덕분에, 어디서 멈추고 무엇을 다시 확인했는지가 보이는 운영 기록이 됐어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기