AI에게 "다 했습니다" 대신 영수증을 받기로 했다

GPTERS 23기 에이전트하네스 3주차 · 기본과제(설계 계약 + 실행 영수증) + 확장과제(부러뜨리기 + 최소 수리 + 재평가)

"일이 진짜 끝났나"를 검사하는 장치를 새로 달았습니다. 규칙 다섯 개짜리였습니다.

부러뜨려 보기 전에, 습관대로 정상 파일부터 한 번 걸어봤습니다. 정상이 떨어졌습니다. 다섯 규칙이 전부 헛돌고 있었습니다.

1. 무슨 업무인가

2월부터 클로드 코드(터미널에서 도는 AI 에이전트)로 스킬 30여 개와 자동화를 만들어 왔는데, 구멍이 하나 있었습니다. 스킬을 부르지 않은 보통 대화에는 검증 규율이 0이었습니다. 에이전트가 "다 됐습니다"라고 하면 그게 진짜인지 잴 방법이 없었죠.

먼저 용어 두 개

이 글에 계속 나오는 말이라 먼저 풀어둡니다. 둘 다 제가 붙인 이름이고, 실제로는 그냥 문서 한 장씩입니다.

식당 영수증이랑 발상이 같습니다. 먹었다는 말 말고 뭘 얼마에 먹었는지 적힌 종이가 남아야 하는 거죠. 에이전트한테 "다 했습니다" 대신 이 종이를 내게 한 겁니다.

그래서 전체에 1벌을 깔았습니다. 모든 요청을 먼저 세 등급으로 나눕니다.

영수증은 에이전트가 쓰지만 검사는 코드가 합니다. 칸이 비었는지, 판정이 정해진 네 가지(완료·질문·보류·차단) 중 하나인지를 파이썬 스크립트가 봅니다. 사람이 눈으로 보면 바쁠 때 그냥 넘어가니까요.

이 규율을 실제로 물고 있는 건 제가 만든 「하네스」라는 스킬 하나입니다(스킬 = 에이전트에게 특정 상황의 절차를 미리 적어둔 문서). 계약 양식·영수증 양식·검사 스크립트가 전부 여기 매달려 있어서, 이번 주 작업의 대상도 이 스킬이었습니다.

이번 주 과제로 스터디장님 배포 정본과 제 것을 대조했더니, 뼈대는 같았고 칸 속이 여섯 군데 비어 있었습니다. 그 여섯을 내리는 게 이번 작업이었습니다.

2. 설계 계약 — 일곱 칸

규칙 자체를 고치는 일이라 등급은 M이었습니다.

아래가 이 작업을 시작하기 전에 쓴 계약입니다. 그리고 Criteria(성공 기준) 칸은 쓰자마자 동결했습니다 — 칸 글자를 지문으로 떠서 문서 머리에 박아뒀고, 하다가 기준을 슬쩍 고치면 지문이 어긋나 걸립니다.

Criteria 칸은 길어서 따로 뺐습니다. 통과 조건만 적지 않고 실패와 애매까지 미리 가르는 게 이번에 새로 내린 것 중 하나입니다.

내린 여섯 개는 Trigger의 무시조건(언제는 시작하지 않나), Route의 실행 모양, Criteria의 애매 칸(통과와 실패 사이 회색지대를 미리 적기), Repair의 유한 예산, 그리고 기준 동결과 판정 3값입니다.

3. 어디서 막혔나 / 무엇을 부러뜨렸나

막힘 ① 시작하기도 전에 계약 전제가 틀렸다

계약에 "기존 영수증 6건 전부 통과 유지"라고 썼습니다. 착수 전 실측을 해보니 5통과 / 1실패였습니다. 이틀 전 영수증 하나가 판정 칸 미기입 상태로 남아 있었습니다.

기준을 "5통과/1실패 유지"로 고쳐 쓸 수도 있었습니다. 고치지 않고, 판정 기준을 "개정 전후 동일성 유지"로 대고 전제가 틀렸다는 사실을 영수증에 적었습니다.

막힘 ② 새 검사 규칙 다섯 개가 전부 헛돌고 있었다

고장 샘플을 만들기 전에 정상 샘플부터 걸었습니다. 지난주 사례글에 "새로 단 게이트는 정상 케이스부터 걸어봐라"라고 써놨고, 이번엔 그걸 회귀 세트에 검사 항목으로 박아뒀습니다. "정상 기준본은 통과해야 한다"가 15개 검사 중 하나입니다.

그 검사가 울렸습니다. 정상 파일이 탈락.

원인은 별표 두 개였습니다. 양식은 강조 표시를 써서 무시:로 적는데, 검사기는 무시:라는 글자를 찾고 있었습니다. 사이에 별표가 끼어서 찾는 글자가 영영 안 나옵니다. 다섯 규칙이 전부 같은 방식이라, 다섯 개가 전부 모든 파일에 경보를 울리는 상태였습니다.

고장 샘플만 걸어봤다면 — 고장 샘플은 어차피 탈락이 기대값이라 — "잘 잡네" 하고 통과시켰을 겁니다.

막힘 ③ 부러뜨렸더니, 못 막는 자리가 나왔다

기준 동결은 이렇게 동작합니다. 계약의 판정기준 칸을 해시(내용이 한 글자만 바뀌어도 완전히 달라지는 지문)로 떠서 문서 머리에 박아둡니다. 실행하다가 기준을 몰래 고치면 지문이 어긋나 탈락이 뜹니다.

확장과제로 이걸 부러뜨려 봤습니다. 시나리오는 기준을 완화한 다음, 지문을 다시 떠서 박으면? 입니다.

단독 검사는 통과했습니다. 지문과 본문이 일치하니까요. 자기 지문 검사는 "사후에 고쳤나"만 잡지, "고치고 지문까지 다시 찍었나"는 못 잡습니다.

이건 이전 영수증과 지문을 맞대보는 대조 검사를 돌려야 잡힙니다. 대조 검사에서는 "기준 변경 감지 — 이전 지문과 현재 지문이 다르다"가 떴습니다.

이 사각을 「알려진 사각 C1」로 문서에 등재했습니다. 대응은 규칙 하나입니다. 재평가 영수증은 반드시 대조 검사를 경유한다.

4. 무엇을 바꿨나 — 가장 작은 수리

다섯 규칙을 다시 쓰지 않았습니다. 깨진 건 "키워드를 찾는 자리" 하나였습니다.

검사 직전에 별표만 벗긴 사본을 만들어, 그 사본에서 키워드를 찾게 했습니다. 함수 하나 추가. 단 지문 계산은 원문 그대로 뒀습니다 — 변조 탐지가 목적이라 원문에 민감해야 하니까요.

수리 1회. 계약에 적은 예산(시도 3 / 수리 2) 안입니다.

5. 실행 영수증 — Trace · Proof · Verdict · Repair

기존 영수증 6건은 개정 후에도 5통과/1실패였고, 실패 사유까지 개정 전과 같았습니다. 이것도 검사 항목(소급 적용 금지)으로 박혀서 자동으로 확인됩니다.

6. 무엇이 달라졌나 / 다음 실험

전: 검사기가 "칸이 있나"만 봤습니다. 계약이 시작조건만 적고 무시조건이 없어도, 기준이 통과조건만 적고 애매를 안 가려도, 수리가 무한 재시도여도 통과였습니다.

후: 그 넷이 비면 기각이고, 기준을 실행 중에 고치면 지문이 잡습니다.

칸 이름과 상시 헤더는 하나도 안 바뀌었습니다. 그래서 다른 런타임에 다시 심을 게 없었습니다.

다음에 개선할 한 가지: 새 규칙용 비밀 검증 문제를 나중 세션에서 만드는 것. 오늘 만든 고장 샘플 7벌은 제가 규칙을 알고 만든 것이라, 규칙을 모르는 상태에서 만든 고장이 하나는 있어야 검증이 섭니다.

배운 점

하나. 부러뜨리기 세트에는 "정상은 통과해야 한다"가 먼저 들어가야 한다.

금속탐지기를 샀는데 삐— 소리가 계속 난다고 해봅시다. 쇠붙이를 대보면 삐— 울리니까 "잘 되네" 싶습니다. 그런데 빈손으로 지나가도 삐— 울립니다. 탐지기가 아니라 그냥 시끄러운 기계인 거죠.

제 검사기가 딱 그 상태였습니다. 고장 파일만 넣어봤다면 "잘 잡네" 하고 넘어갔을 겁니다. 정상을 넣었을 때 조용한지를 봐야 비로소 구분할 줄 아는 검사기입니다.

둘. 게이트가 못 막은 자리도 증거다.

부러뜨렸더니 못 막는 구멍이 하나 나왔습니다. 당장 고칠 수 있는 종류가 아니었고요.

그냥 넘어가면 몇 달 뒤에 똑같은 걸 또 발견합니다. 그 자리를 찾느라 시간을 두 번 씁니다. 그래서 「사각 C1」이라고 이름을 붙여 적어뒀습니다. 다음에 열어보면 "여기 뭘 걸어야 하는구나"가 바로 나옵니다.

셋. 전제가 틀렸으면 기준을 고치지 말고 어긋남을 적어라.

계약에 "기존 영수증 6건 전부 통과 상태를 유지한다"고 썼는데, 세어보니 5건만 통과였습니다. 제 전제가 틀렸던 겁니다. 여기서 두 갈래가 있었습니다.

아래를 택했습니다. 위로 하면 문서상으론 완벽한데, 확인 없이 전제를 쓰는 습관은 그대로 남습니다.

검사기를 새로 달았으면, 고장부터 넣지 말고 정상부터 넣어보십시오.

과제 제출 필드

대상 확정 카드

실행 필드