본문으로 건너뛰기

AI에게 “검수해줘” 대신 6개 기준과 복구 규칙을 줬더니 생긴 일

스티브신

2026.08.12

📝 한줄 요약

경쟁사 자료를 AI에게 요약시키는 데서 멈추지 않고, 근거·수치·범위·권한을 확인하는 검수 하네스를 만들었습니다. 실제 자료로 돌려보니 내용보다 먼저 원문 캡처의 해시 불일치와 담당자 부재가 드러났고, 그 과정을 기록·복구·재검수까지 연결했습니다.

바쁘시면 이것만 읽어도 돼요:

  • “잘 검수해줘” 대신 검수 대상과 완료 조건을 네 문서로 고정했습니다.

  • 출처 앵커, 수치, 주장 분리, 범위, 누락, 사람 승인까지 6개 기준으로 점검했습니다.

  • 실제 파일럿에서 PDF 원본은 정상인데 원문 캡처 해시가 다른 문제를 발견했습니다.

  • AI가 최종 승인하지 못하도록, 자동 게이트는 오류 후보만 내고 사람은 승격을 판단하게 했습니다.

  • 같은 자료를 4회 다시 검수해 결과가 PASS_WITH_NOTE로 재현되는지 확인했습니다.

🎯 이런 분들께 도움돼요

  • 경쟁사 덱, 규제 공지, 시장 보고서를 AI로 정리하지만 어디까지 믿어야 할지 불안한 분

  • AI가 만든 문서의 출처·수치·범위를 검수할 재사용 가능한 기준이 필요한 분

  • 완벽한 자동화보다, 실제 업무 하나로 검수 흐름을 먼저 만들고 싶은 기획·운영 담당자

😫 문제 상황 (Before)

경쟁사 발표 자료를 읽으면 기능, 수치, 고객 로고, 규제 준수 표현이 한꺼번에 나옵니다. AI에게 요약을 맡기면 읽기는 편해지지만, 더 중요한 질문이 남았습니다.

“이 문장이 원문에 실제로 있나?”
“경쟁사 주장을 규제 사실처럼 쓰고 있지는 않나?”
“자료에 없는 기능을 AI가 자연스럽게 채워 넣지 않았나?”

특히 가상자산 컴플라이언스처럼 규제·개인정보·제품 정책이 연결된 업무에서는 자연스러운 문장보다 근거와 경계가 더 중요했습니다.

🛠️ 사용한 도구

  • Codex: 검수 명세 작성, 파일 점검, 역할 분리 리뷰, 실행 기록 작성

  • Markdown 기반 Agent-wiki: 원문·초안·검수 기록·gap 분석을 분리 보관

  • 로컬 RAG: 위키 검색과 출처 경계 회귀 확인

  • SHA-256 해시: 원문과 원문 캡처의 무결성 상태 확인

🔧 작업 과정

1. 먼저 “무엇을 검수하는가”를 한 자료로 고정했습니다

처음부터 모든 규제 자료를 다루지 않았습니다. BlockSec의 Phalcon Compliance 경쟁사 PDF 한 건을 기준 샘플로 삼았습니다. 목표도 단순했습니다. “이 자료가 실제로 말하는 범위 안에서만 경쟁사 신호와 제품 가설을 만들 수 있는가?”

좋아 작성 진행해줘

이 요청 뒤에 검수 업무를 PRD, Goal, Eval, Recovery 네 문서로 나눴습니다.

문서

고정한 내용

PRD

경쟁사·규제·시장 자료에서 무엇을 검수하고, 무엇은 검수하지 않는지

Goal

원문 앵커, 판정, 다음 행동이 모두 있을 때만 완료

Eval

근거, 수치, 주장 분리, 범위, 누락, 실행 권한의 6개 기준

Recovery

실패 시 최소 수정, 2회 재시도, 이후 사람 검토로 넘기는 규칙

2. “잘 검수해줘”를 6개의 확인 항목으로 바꿨습니다

AI에게 막연히 검수를 부탁하는 대신 아래 여섯 질문을 고정했습니다.

  1. 모든 핵심 주장에 원문 페이지·슬라이드·문단 앵커가 있는가?

  2. 수치·기간·임계값이 원문과 맞는가?

  3. 벤더 주장, 규제 사실, 내부 해석, 제품 가설이 분리됐는가?

  4. 관할·서비스·시점 같은 범위가 필요한 곳에 적혔는가?

  5. 결론을 바꿀 한계나 다음 검증 행동이 빠지지 않았는가?

  6. AI가 승인자가 되지 않았고, 담당 역할·완료 기준이 있는가?

원문 PDF → 검토 초안 → 6개 기준 검수 → PASS / PASS_WITH_NOTE / HOLD / FAIL → 사람의 승격 판단

3. 실제 실행에서 ‘내용’보다 먼저 무결성 문제를 발견했습니다

Phalcon 자료를 점검한 결과, 기능·수치·Travel Rule 미확인 범위는 비교적 잘 분리돼 있었습니다. 그런데 원본 PDF의 SHA-256은 기록값과 일치했지만, PDF를 설명하는 Markdown 원문 캡처의 본문 SHA-256은 달랐습니다.

확인 항목

결과

의미

원본 PDF 해시

PASS

보관한 원본 파일은 기록값과 일치

원문 캡처 본문 해시

FAIL

캡처 생성 과정 또는 이후 변경 여부를 바로 판단할 수 없음

핵심 주장 페이지 앵커

PASS

포지셔닝, 수치, 스크리닝, 조치, 준수 표현을 지정 슬라이드로 연결

여기서 배운 점은 분명했습니다. AI 검수는 화려한 문장 오류만 잡는 일이 아닙니다. 나중에 근거를 다시 확인할 수 있는 상태인지부터 확인해야 했습니다.

4. 문제를 덮지 않고, 예외·복구·재검수로 처리했습니다

한번 진행해주고 이슈없는지 gap 분석도 해줘

해시 불일치를 조용히 고쳐 쓰지 않았습니다. 원본 PDF가 정상임을 확인한 뒤, Markdown 캡처 해시는 reviewed-exception으로 남겼습니다. 즉 “문제가 없었다”가 아니라 “문제가 있었고, 어떤 조건에서 제한적으로 사용할 수 있는지”를 기록한 것입니다.

중요: 이 예외는 원문 캡처가 완벽하다는 뜻이 아닙니다. 다음에 같은 자료를 사용할 때는 캡처를 다시 만들거나, 렌더링 결과와 다시 대조해야 한다는 경고를 계속 남깁니다.

또한 초안에 벤더 출처 등급(S5), Product·Operations·Compliance/Privacy 역할, 사람 승인 경계를 추가했습니다. 그 결과 자료는 “경쟁사 신호와 검증 전 가설” 용도로만 유지하고, 규제 사실이나 제품 요구사항으로 승격하지 않도록 했습니다.

5. 자동 게이트와 세 역할 리뷰를 분리했습니다

자동화는 판단을 대신하지 않도록 설계했습니다. 자동 게이트는 다음 세 가지를 확인합니다.

  • 초안이 가리키는 로컬 출처 파일이 실제 존재하는가

  • 원문 해시 상태가 정상인지, 검토된 예외인지, 미해결 불일치인지

  • 페이지·슬라이드 앵커가 실제로 적혀 있는가

그리고 REVIEWER, INSPECTOR, CRITIC 역할을 나눠 오류 후보만 받았습니다. 이번에는 외부 모델 없이 같은 세션에서 역할 분리를 했기 때문에, 이를 독립 교차검증이라고 부르지 않았습니다.

역할

이번에 잡은 항목

REVIEWER

“독립 검수 대기”라는 상태 문구가 이미 완료된 검수 이력과 맞지 않음

INSPECTOR

이미지 기반 PDF라 페이지 앵커는 있지만 슬라이드를 빠르게 재대조할 시각적 증빙이 부족

CRITIC

“관할별 보고·감사 패키지”라는 제품 가설의 범위가 너무 넓음

세 항목은 최소 수정으로 반영했습니다. 상태를 “검수 완료 · 승격 보류”로 바꾸고, 슬라이드 재대조 표를 추가했으며, 관할별 보고 기능은 별도 규제 근거와 법무 검토가 있는 경우로 한정했습니다.

✅ 결과 (After)

항목

Before

After

AI 검수 요청

“이 문서 검수해줘”

6개 평가 기준과 완료·복구 조건으로 검수

출처 문제 발견 시

문장 수정 또는 감으로 판단

해시 상태, gap, 예외 사유, 재검수 조건을 기록

AI 역할

요약자 또는 막연한 검수자

오류 후보 제시자; 최종 판정·승격은 사람

검수 결과

한 번 보고 끝

같은 기준으로 4회 실행해 판정 재현 확인

최종 결과는 PASS_WITH_NOTE입니다. 이 말은 “경쟁사 신호와 검증 전 제품 가설로는 활용할 수 있지만, 제품 요구사항·법률 결론·경쟁사 성능 사실로 승격해서는 안 된다”는 뜻입니다.

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

  1. 하나의 실제 자료로 시작하기: 큰 시스템보다 실제 PDF 한 건이 검수 기준의 빈틈을 빨리 보여 줬습니다.

  2. 오류를 세 종류로 나누기: 거짓·오출처, 누락, 부실로 나누니 수정 방향이 분명해졌습니다.

  3. AI에게 권한을 주지 않기: AI는 후보를 내고, 코드와 사람이 통과·보류·승격을 결정하게 했습니다.

  4. 예외를 숨기지 않기: 해시 불일치를 예외로 기록하니, 다음 검수자가 같은 위험을 다시 볼 수 있습니다.

이렇게 하면 안 돼요

  1. 경쟁사 덱의 “준수 지원” 표현을 법적 적합성 사실로 쓰기

  2. 검수 결과가 좋다고 AI가 제품 요구사항을 확정하게 두기

  3. PDF에 텍스트가 없는데도 수치와 기능을 재대조할 방법을 남기지 않기

  4. 한 번의 검수 결과만 보고 기준이 안정적이라고 생각하기

🌍 다른 업무에 적용한다면?

  • 마케팅: 경쟁사 캠페인 자료에서 실제 메시지와 “우리도 해야 한다”는 해석을 분리

  • CS: 고객 인터뷰에서 직접 발화, 운영팀 해석, 개선 가설을 분리

  • 인사: 조직 설문에서 수치, 해석, 실행 과제, 승인 권한을 분리

  • 리서치: 보고서의 수치·인용·범위를 앵커로 남기고, 근거 없는 문장을 보류

📋 재사용 가능한 프롬프트

프롬프트 1: 검수 명세 만들기

아래 업무 결과물을 AI로 검수하려고 해. 먼저 검수 대상과 근거자료를 한 쌍으로 정의하고, 다음 네 문서를 작성해줘: PRD(무엇을 왜 검수하는지), Goal(언제 끝인지), Eval(통과·수정·보류 기준), Recovery(실패 시 최소 수정과 재시도 규칙).

오류는 ① 거짓·오출처 ② 누락 ③ 부실로 나누고, AI가 판단할 일과 사람이 최종 승인할 일을 분리해줘.

프롬프트 2: 자료 한 건 검수하기

아래 원문과 검토 초안을 Eval 기준으로 검수해줘. 핵심 주장마다 원문 페이지·문단 앵커가 있는지, 수치·기간이 원문과 맞는지, 사실·벤더 주장·내부 해석·제품 가설이 분리됐는지 확인해줘.

수정본부터 만들지 말고, 먼저 오류 후보를 ‘거짓·오출처 / 누락 / 부실’로 나눠 표로 보여줘. 각 항목에 근거 위치, 심각도, 권장 판정(PASS_WITH_NOTE / HOLD / FAIL)을 적어줘. 최종 제품·법률 판단은 하지 마.

🖼️ 추천 이미지

  • “문제 상황”: 경쟁사 PDF, 메모, AI 요약이 흩어진 업무 화면을 상징하는 이미지

  • “6개 확인 항목”: 원문 → 초안 → 6개 기준 → 사람 승인 흐름도

  • “해시 불일치 발견”: 원본 PDF는 PASS, 원문 캡처는 NOTE로 표시된 간단한 검수 결과 표

  • “결과”: 4회차 재검수 기록 또는 PASS_WITH_NOTE 판정 화면

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기