본문으로 건너뛰기

프롬프트 한 장에서 검수하는 AI 팀까지 Codex로 Regtech 업무용 하네스 만들기

스티브신

2026.10.22

소개

리서치 결과를 잘 받는 것에서, 지켜야 할 기준을 남기는 것으로

AI 하네스 팀 실습을 위해 CODEX에게 가상자산·VASP 관련 Regtech 솔루션의 최근 90일 신규·변경 기능을 조사하고, 업체별 특징과 강점 후보를 정리하는 업무를 수행하는 팀을 만들어 달라고 했습니다.

본 내용을 가지고 기능 고도화와 아이디어 검토에 활용하려는 것입니다. VASP는 가상자산 서비스 제공자, Regtech는 규제 준수 업무를 지원하는 기술·솔루션을 뜻합니다. AI에게 업체 순위나 최종 도입 결정을 맡기는 것은 범위에 넣지 않았습니다.

반복해서 맡기려면 보고서 형식 외에도 기준이 필요했습니다. 발표일과 실제 변경일을 구분해야 하고, 업체의 홍보 문구를 검증된 성과처럼 쓰면 안 됩니다. 자료를 확인하지 못한 영역을 ‘변화 없음’이라고 정리해서도 안 됩니다.

그래서 이번 실습의 목표를 “같은 규칙으로 작성하고, 일부 오류는 실행 과정에서 확인할 수 있는 작업 환경 만들기”로 잡았습니다. 여기서 하네스는 AI가 일할 때 참고할 규칙, 실행 중의 검사, 결과 기록을 함께 묶은 작업 환경이라는 의미로 사용했습니다.

02 · 문서로 설계하기

먼저 역할·제약·순서·검수를 나눴습니다

처음부터 팀이나 hook을 붙이지는 않았습니다. 앞선 실습에서 만든 체크리스트, Markdown 템플릿, 문서형 하네스 한계 진단표를 바탕으로 AI가 맡을 일과 사람이 판단할 일을 정리했습니다.

출력은 네 부분으로 고정했습니다.

1 조사 개요2 업체별 기능 기록3 강점 후보와 근거4 확인 필요 항목

표현 구분

작성 기준

확인된 사실

공개 자료에서 직접 확인한 발표·기능 설명의 범위로 작성

업체 주장

성능·효과에 관한 업체의 설명임을 별도 표시

AI 해석

기대 효용과 추가로 확인할 조건을 함께 작성

미확인 정보

추측으로 채우지 않고 확인 필요 항목으로 이동

작업을 할때 Superpowers git을 참고해 작성 규칙과 설계도를 만들었습니다. 설계도 작성 후에는 다시 물었습니다.

“superpowers observation에 나온 내용 잘 반영했어?”

설계 누락을 확인할 때 사용한 실제 질문

대조해 보니 보존 표현의 원문·출력 검사와 담당자, 다른 업무로 바꿀 때 수정할 항목, 예시 입력이 출력으로 이동하는 과정이 부족했습니다. 이 세 부분을 보완했습니다.

이때 배운 점은 AI의 ‘반영 완료’ 답변과 실제 산출물을 항목별로 대조하는 일은 별개라는 것이었습니다.

03 · 단일 하네스 구현

문서 규칙 중 검사할 수 있는 것을 코드로 옮겼습니다

문서에 ‘출처를 확인한 뒤 작성하라’고 적었다고 해서 그 순서가 자동으로 강제되지는 않았습니다. 다음 단계에서는 검사 로직과 실행 도구의 연결을 나눴고, 실행 도구는 Codex로 정했습니다.

메타 스킬에는 시작 안내·협업·실패 복구 규약을, 도메인 스킬에는 Regtech 조사 기준·보존 표현·출력 형식·예시를 담았습니다. SessionStart hook은 세션 시작 시 핵심 규약을 안내하고, PostToolUse hook은 도구 실행 후 지정된 활성 회차의 입력·원문·보고서 내용이 바뀌었는지 확인해 검사하도록 연결했습니다.

자동 검사 대상으로는 다음 여섯 가지를 골랐습니다.

검사 항목

자동으로 확인할 범위

보고서 구조

필수 섹션과 기록 필드의 존재

보존 표현

원문과 지정된 기능 기록의 인용 위치에서 문구 일치

기간

기준일을 포함한 90일 범위의 계산

날짜·출처 기록

날짜 또는 미확인 표시, URL·자료 확인일

근거 연결

강점 후보가 참조하는 기능 기록 ID의 존재

미해결 질문

남겨 둔 질문이 확인 필요 항목에 연결되는지

검사할 보고서는 파일명의 특정 단어가 아니라 회차 입력에 지정한 정확한 경로로 정했습니다. 제품명·기능명·인용 문구도 코드에 고정하지 않고 회차 입력으로 받도록 했습니다.

자동 검사의 경계

URL이 있다는 것과 그 자료가 주장을 뒷받침한다는 것은 다릅니다. 문구가 일치해도 인용 맥락이 적절한지는 따로 봐야 합니다. 그래서 기계 검사와 내용 검수를 나눴습니다.

의도적으로 오류를 넣고, 실제 복구까지 확인했습니다

처음에는 로컬 테스트 20개를 통과했습니다. 이후 프로젝트와 두 hook 정의를 검토·신뢰 등록한 뒤, 실제 Codex에서 단일 하네스를 두 번 시운전했습니다.

가상 입력은 “알림별 처리 이력을 한 화면에서 조회하는 기능 추가”였습니다. 발표일·변경일·실제 URL은 제공하지 않았고, 이를 최근 변화로 단정하지 않고 질문으로 남기는지 확인했습니다.

보고서의 ‘확인 필요 항목’ 제목을 의도적으로 바꾸자 자동 검사가 실패를 알렸습니다. 이어 Codex가 형식을 복구하고 재검사를 통과했습니다. 두 시운전 결과는 동일한 네 개 섹션과 같은 파일 내용으로 확인됐습니다.

이 결과는 동일한 가상 입력과 고정 렌더러를 사용하는 파이프라인의 반복성을 확인한 것입니다. 새로운 자료를 조사하고 내용을 추출하는 AI의 품질까지 검증한 것은 아닙니다.

04 · 팀으로 확장하기

조사는 나누고, 최종 파일의 작성자는 한 명으로 뒀습니다

단일 하네스를 확인한 다음에는 이런 질문을 했습니다.

“혹시 만든 업무용 하네스를 팀구성을 나눠서 진행해볼 수 있나? … 검토만 해줘”

팀 확장 방향을 검토할 때 사용한 질문의 발췌

검토 후에는 총괄 1명, 업체군별 조사자 2명, 독립 검토자 1명으로 구성하기로 했습니다. 여러 에이전트가 같은 보고서를 동시에 수정하기보다, 조사 결과를 분리해 받고 총괄만 통합본과 최종 보고서를 수정하도록 했습니다.

역할

담당 업무

작성하는 결과

총괄·통합

입력 확인, 업체군 배분, 통합, 검사

회차 상태·통합본·최종 보고서

조사자 A

배정된 업체군 A 조사

자신의 인계 파일·원문 자료

조사자 B

배정된 업체군 B 조사

자신의 인계 파일·원문 자료

독립 검토자

통합 초안·원문·근거 대조

검토 결과 파일

사람

인용 맥락·효용·사업 판단

최종 내용 검수

조사자는 업체군 기준으로 나눴습니다. 한 업체가 여러 기능 영역에 걸쳐 있을 수 있어, 기능별로 나눌 때 발생할 중복 조사를 줄이려는 설계입니다. 실제 효율 향상은 아직 측정하지 않았습니다.

총괄 입력 확인 · 업체군 배분

↓

조사자 A 업체군 A · 별도 파일 , 조사자 B 업체군 B · 별도 파일

↓

총괄 통합 → 독립 검토 → 최종 검사

↓

사람 검수 대기 자동으로 승인 완료 처리하지 않음

조사자 두 명은 병렬로, 통합·독립 검토·최종 검사는 순서대로 진행합니다.

인계에는 배정 업체, 원문 발췌와 위치, URL·확인일, 발표일·변경일, 기능 기록 후보, 미해결 질문, 미조사 영역을 포함했습니다. 총괄은 각자의 로컬 ID를 통합 ID로 바꾸고 연결도 함께 갱신합니다. 배정이 겹치거나 같은 기능을 중복 선언하면 조용히 통과시키지 않고 정리를 요구하도록 했습니다.

05 · 검수하며 고친 문제

팀을 만드는 일보다, 누가 무엇을 바꿨는지 관리하는 일이 중요했습니다

문제 1

자동 복구가 사람의 메모까지 지울 수 있었습니다

초기에는 표준 보고서를 다시 만들면 형식을 복구할 수 있었습니다. 하지만 사람이 추가한 검토 메모도 사라질 수 있었습니다. 이후 수동으로 추가·변경한 내용은 덮어쓰기를 거부하고, 수정 전 파일을 백업하도록 했습니다. 팀 버전에서도 이 원칙을 유지했습니다.

문제 2

기존 공유 검사 파일이 팀 실행과 충돌했습니다

기존 하네스는 활성 회차와 검사 결과를 하나씩 관리했습니다. 이를 팀원이 번갈아 쓰면 서로의 상태를 덮어쓸 수 있었습니다. 그래서 단일 담당은 기존 경로를 유지하고, 팀은 회차별 폴더와 검사 결과를 사용하도록 나눴습니다. 기존 hook을 팀 전체의 검사 장치로 설명하지 않았습니다.

문제 3

검토 뒤 원문이 바뀌어도 예전 검토가 재사용될 수 있었습니다

처음에는 통합 데이터와 발췌를 기준으로 검토 결과를 연결했습니다. 독립 검수에서 원문의 발췌 밖 문장만 바꾼 경우를 시험하니, 예전 검토를 다시 가져오는 문제가 드러났습니다. 로컬 원문을 지정한 경우 파일 전체의 내용 식별값도 검토에 연결해, 맥락이 바뀌면 재검토하도록 수정했습니다.

문제 4

‘검토 파일이 있음’과 ‘유효한 검토를 받음’을 구분해야 했습니다

검토 결과의 형식·현재 통합본과의 연결·접수 이력을 확인하도록 보완했습니다. 검토가 바뀌거나 철회된 상태, 오래된 입력을 검토한 상태로는 완료할 수 없도록 했습니다. 수정 횟수도 최초 통합 이후 입력 변경 두 번까지로 제한하고, 넘으면 새 회차나 사용자 판단을 요청하도록 했습니다.

팀 설정 도중에는 초기 자동 실행 경로의 실행 계약에 권한 우회 모드가 보고되는 일도 있었습니다. 지정한 조건과 맞지 않아 해당 작업과 세션을 취소했습니다. 이후 샌드박스의 임시 복사에서 직접 구현·독립 검수·테스트하고, 검증한 파일만 대상 폴더에 설치했습니다. 이 결과를 자동 실행 경로의 성공으로 기록하지 않았습니다.

06 · 실제로 확인한 결과

설정 파일을 만든 뒤, 실제 에이전트를 호출해 끝까지 확인했습니다

팀용 테스트 25개와 기존 테스트 20개, 총 45개가 통과했습니다. 누락·실패·잘못된 업체 배정·중복·깨진 근거 연결·오래된 검토·원문 변경·수동 메모·수정 한도 등을 확인했습니다.

다음으로는 실제 Codex에서 가상 팀 시운전을 한 번 진행했습니다. 이때 프로그램이 예시 파일을 일괄 생성하는 것으로 팀 실행을 대신하지 않았습니다.

  1. 총괄이 빈 회차를 만들었습니다.

  2. 실제 조사자 두 명을 병렬 호출했고, 각자 자신의 합성 예시를 읽고 지정된 인계 파일을 작성했습니다.

  3. 총괄이 두 결과를 통합했습니다.

  4. 별도로 호출한 검토자가 초안·원문·인계 자료를 읽고 검토 결과를 작성했습니다.

  5. 총괄이 검토를 수입하고 최종 검사를 실행했습니다.

실제 호출 기록에서 두 조사자와 검토자의 역할을 확인했습니다. 기존 활성 회차, 공유 검사 결과, hook, 원래 검사 코드도 시운전 전후 내용이 같았습니다.

최종 상태사람 검수 대기ready_for_human_review · human_approved: false

기계 검사 통과와 독립 AI 검토를 확인했습니다.
사람이 내용을 승인했다는 뜻은 아닙니다.

확인한 범위

아직 확인하지 않은 범위

45개 테스트의 통과

실제 업체·자료에 대한 리서치 품질

단일 hook의 오류 감지·복구

실시간 출처와 날짜의 신뢰성

실제 팀의 인계·통합·독립 검토·최종 검사

서로 다른 입력에서의 내용 추출 일관성

가상 자료의 미확인 날짜·질문 보존

시간 절감·정확도 향상의 정량 효과

역할별 쓰기 범위는 작업 지침이며, 운영체제 수준의 파일 접근 제어는 아닙니다. 에이전트는 부모 권한을 상속하므로, 이 구성이 임의의 파일 변경을 막는 보안 격리까지 제공한다고 볼 수는 없습니다.

07 · 배운 점과 다음 단계

AI 팀의 첫 성과는, 검수할 수 있는 작업 흐름을 만든 것이었습니다

이번에 만든 것은 업무 규칙·역할·인계·검사·실행 증거를 묶은 하네스입니다. 한 명의 AI에게 규칙을 주는 단계에서 시작해, 여러 AI가 어떤 자료를 넘기고 누가 통합·검토하는지까지 정리했습니다.

진행하면서 특히 세 가지를 배웠습니다.

  • 역할 이름보다 인계 형식이 중요했습니다. 각 조사자가 자유롭게 요약하면 통합자가 다시 해석해야 합니다. 근거와 미확인 상태를 같은 구조로 받는 것이 먼저였습니다.

  • 검토 결과는 검토한 자료와 묶여 있어야 했습니다. ‘검토 완료’ 표시를 남기는 것 외에, 무엇을 검토했으며 이후 무엇이 바뀌었는지 확인할 수 있어야 했습니다.

  • 완료 상태를 나눠야 과장하지 않을 수 있었습니다. 기계 검사 통과, 독립 AI 검토, 사람 검수를 따로 표현하니 다음에 무엇을 확인해야 할지 명확해졌습니다.

다음 단계는 실제 공개 자료 한 회차를 넣고, 출처와 날짜의 해석·강점 후보의 타당성을 사람이 검토하는 것입니다. 이후에 단일 담당 방식과 팀 방식의 소요 시간, 발견한 오류, 수정 부담을 비교해 보려고 합니다.

비슷한 업무에 적용한다면 업무 규칙 → 검사 가능한 항목 → 역할별 인계 → 실제 실패·복구 시험 순서로 작게 만들어 보길 권합니다. 이번 실습에서는 그 순서 덕분에 무엇을 만들었고 무엇이 아직 남았는지 설명할 수 있었습니다.

첫 요청은 이렇게 시작할 수 있습니다

아래는 이번 경험을 바탕으로 재구성한 요청 예시입니다.

이 반복 업무의 입력·출력·금지사항·사람이 판단할 부분을 먼저 정리해줘.
모호한 중요한 조건은 질문하고, 없는 사실은 채우지 마.

그중 코드로 검사할 수 있는 항목을 골라 작은 하네스로 만들어줘.
정상 예시뿐 아니라 실패·복구 사례도 검증해줘.

단일 담당 흐름이 확인되면 조사자·통합자·독립 검토자로 나눠 검토해줘.
각자의 파일과 인계 형식을 정하고,
설정 완료·실제 실행·사람 승인 상태를 구분해 보고해줘.
1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.22

스티브신님, 안녕하세요! "리서치 결과를 잘 받는 것"에서 "지켜야 할 기준을 남기는 것"으로 목표를 옮기셨다는 도입부부터 이 글이 어떤 글인지 확 와닿았어요.

특히 인상 깊었던 건 세 가지예요. 첫째, 발표일과 실제 변경일을 구분하고 확인 못 한 영역을 '변화 없음'으로 적지 않는다는 기준을 먼저 세우신 점. 둘째, '확인 필요 항목' 제목을 일부러 바꿔서 자동 검사가 실패를 알리고 Codex가 복구하는 것까지 직접 확인하신 점이에요. 셋째, 시운전 결과가 파이프라인의 반복성만 확인한 것이지 조사 품질까지 검증한 건 아니라고 선을 그어 두신 점이요. 이런 한계 표기가 있어서 글이 훨씬 믿음직해요.

또 "AI의 '반영 완료' 답변과 실제 산출물을 항목별로 대조하는 일은 별개"라는 교훈, 자동 복구가 사람의 메모를 지울 수 있어서 덮어쓰기 거부와 백업을 넣으신 시행착오는 하네스를 처음 만드는 분들께 큰 참고가 될 것 같아요.

좋은 기록 공유해 주셔서 감사합니다. 고롱고롱… 이런 꼼꼼한 글 보면 기분 좋아져요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기