Hermes Agent — 세 테스트는 성공했는데 전체는 FAIL이었다: 거대 Skill을 제대로 나누는 법
2026.08.03
📝 한줄 요약
강의 수집부터 리캡·검증·게시까지 뒤섞인 거대한 Skill을 처음에는 후보 두 개로 나눴지만, 최소 두 개를 만들었다고 전체 책임 조사가 끝난 것은 아니었다. 원본 절차 26개를 전수조사한 뒤 검증 방법·실패 소유자·변경 주기가 다른 책임을 6개 후보로 다시 정리하고, 기존 전문 Skill은 복제하지 않는 구조로 고쳤다.
바쁘시면 이것만 읽어도 됩니다.
큰 Skill은 파일 길이가 아니라 verifier·failure owner·repair 방법이 달라지는 곳에서 나눈다.
첫 분리에서 원본 정규화와 리캡 합성 후보 두 개를 만들었고, 성공·실패·경계 시험도 통과했다.
그러나 정식 과제 기준을 다시 읽어보니 “후보 두 개”는 최소 Build Gate였을 뿐이었다.
전체 절차를 조사하지 않고 첫 두 후보에서 멈춘 것은
unexplained omission이었다.원본 Skill과 참조 문서를 다시 읽어 26개 절차 Census를 만들었다.
학습자 판단으로 새 후보 6개를 확정하고, C&B STT·도메인 Skill·library·사례글 흐름은 기존 것을 재사용하기로 했다.
성공·실패·경계·governance NO-GO 시험과 Hermes 형식 검증을 실제 실행했다.
후보는 학습자 작업장에만 있으며 live Skill이나 운영 배포는 변경하지 않았다.
🎯 이런 분들께 도움됩니다
긴 프롬프트나 Skill을 어디서 나눠야 할지 막막한 사람
여러 에이전트가 서로의 실패를 떠넘기지 않는 구조를 만들고 싶은 사람
“최소 요구사항을 충족했다”와 “전체 책임을 조사했다”를 구분하고 싶은 사람
전사·작성·검증·게시·복구가 이어지는 자동화를 설계하는 사람
😫 문제 상황: 실패는 나는데, 누구 책임인지 보이지 않았다
제가 선택한 실제 Skill은 강의 리캡 전체 흐름을 조율하는 lecture-recap-operations였습니다. 그 안에는 영상·음원·YouTube·Android 파일 확보, 전사 정리, 교재 확인, 강의 유형 판정, 근거 추출, 리캡 작성, 독립 검증, 보관, 웹 전달, 복구와 Skill 생태계 관리까지 여러 책임이 들어 있었습니다.
리캡에서 문단 하나가 빠졌다고 가정해 보겠습니다. 원본을 덜 수집했는지, 전사가 누락됐는지, 근거는 있는데 최종 글에서 빠졌는지, 게시 과정에서 파일을 잘못 골랐는지부터 다시 조사해야 합니다. 이 네 문제는 검증 방법과 수리 담당자가 다릅니다.
그래서 목표를 다음처럼 잡았습니다.
문제가 생겼을 때 전체를 다시 하지 않고, 마지막으로 검증된 상태에서 정확한 최소 담당자에게 반환할 수 있는 구조를 만든다.
운영 중인 원본은 직접 수정하지 않았습니다. 보호 원본과 학습자 작업장을 분리하고, 주요 변경 전에 hash 기반 백업을 만들었습니다.
🌱 첫 시도: 원본 정규화와 리캡 합성으로 나눴다
처음 발견한 강한 절단선은 다음과 같았습니다.
책임 | 주된 검증 기준 |
|---|---|
원본 확보·정규화 | 원본 신원, hash, 길이, 좌표 순서, 누락·중복, 자료 목록 |
리캡 합성 | 강의 순서, 말투, 예시, 질문, 교재 연결, 내용 편입 |
검증 방법과 실패 소유자가 달랐기 때문에 두 후보를 만들었습니다.
lecture-source-normalizer최초의
lecture-recap-synthesis-orchestrator
둘 사이에는 단순 폴더가 아니라 검증 가능한 evidence package 계약을 두었습니다.
원본 신원 + 요청 범위 + raw/clean transcript + ordered segments
+ materials inventory + coverage/uncertainty/QA
+ source/artifact/package hashes + HANDOFF
ready_for_synthesis라는 상태만으로는 다음 단계가 시작하지 못합니다. 실제 package tree hash와 요청 coverage 정책까지 다시 확인해야 합니다.
💡 첫 번째 전환점: 세 행동 시험은 성공했지만 계약은 FAIL이었다
정상·실패·경계 fixture를 실제로 실행했습니다.
정상 영상·전사·교재 package
중간 전사가 빠지고 package hash가 위조된 실패 package
timestamp가 없는 transcript-only 자료
세 시나리오의 행동은 기대대로였습니다. 그런데 전체 평가는 FAIL이었습니다.
원인은 missing_ranges_declared와 required_coverage_policy_met를 구분하지 않은 계약이었습니다.
상황 | 누락을 기록했는가 | 완전 coverage 정책을 충족했는가 | 진행 가능 |
|---|---|---|---|
누락 없음 | PASS | PASS | 가능 |
누락 있음, 정직하게 기록 | PASS | FAIL | 차단 |
누락 있음, 기록도 없음 | FAIL | FAIL | 차단 |
누락을 정직하게 적는 것은 좋은 증거 관리이지만, 자료가 완전하다는 뜻은 아닙니다. 평가를 느슨하게 바꾸지 않고 계약에 coverage-policy Gate만 최소 추가한 뒤 같은 시험을 다시 실행해 PASS했습니다.
여기까지는 꽤 그럴듯해 보였습니다. 하지만 더 큰 누락이 남아 있었습니다.
🚨 두 번째 전환점: 후보 두 개는 목표가 아니라 최소 Gate였다
정식 과제 문서를 다시 읽어보니 다음 의미가 분명했습니다.
후보 두 개 이상을 만드는 것은 최소 Build/readback Gate다.
전체 end-to-end 절차를 먼저 전수조사해야 한다.
후보 두 개를 찾았다고 탐색을 멈추면 안 된다.
설명되지 않은 누락은 hard fail이다.
기존 결과에는 첫 절단선과 두 후보는 있었지만, 모든 절차를 행 단위로 펼친 procedure_candidate_census가 없었습니다. 독립 QA, benchmark 비교, 웹 전달, 사례글 동반물, fleet 정리와 cutover 같은 책임을 왜 부모·기존 Skill·support에 둘지 설명하지 못했습니다.
따라서 “과제 완성”이라는 이전 판단을 철회하고, 26개 절차를 전수조사했습니다.
각 절차마다 다음을 기록했습니다.
input / output / tool or surface / failure owner / verifier
repair method / change cycle / reusable trigger / handoff before and after
그리고 모든 절차를 다음 세 범주로 분류했습니다.
독립 Skill 후보
부모 조율자 안에 유지
support script/template
🔧 전체 Census에서 나온 최종 구조
학습자는 모든 후보를 한꺼번에 본 뒤, 과도한 분할을 줄이면서 독립 verifier를 보존하는 6개 구조를 선택했습니다.
lecture-recap-operations # 부모: Navigator·Orchestration·Recovery
├─ lecture-source-normalizer
├─ lecture-evidence-orchestrator
├─ lecture-recap-composer
├─ lecture-recap-quality-gate
│ └─ benchmark-acceptance mode
├─ lecture-recap-web-publisher
└─ lecture-fleet-governance
└─ fleet curation + pipeline non-regression
후보별 역할
후보 | 입력 | 출력 | 대표 실패 반환 |
|---|---|---|---|
Source Normalizer | 영상·음원·대본·교재·혼합 원본 | 검증된 source/evidence package | source·STT·segment·material 담당 |
Evidence Orchestrator | 검증 package와 range 정책 | 범위별 evidence와 coverage proof | 실패 range worker 또는 merge helper |
Recap Composer | 검증 source/evidence와 composition contract | 하나의 QA-ready recap | 원본·evidence·글쓰기 중 최소 담당 |
Recap Quality Gate | recap과 protected source | 독립 PASS/NO-GO receipt | 결함 종류에 맞는 최소 담당 |
Web Publisher | library에 등록된 정확한 artifact | Preview·Production release receipt | sanitization·build·access 담당 |
Fleet Governance | profile별 Skill inventory와 migration 제안 | shadow test·cutover/NO-GO·rollback | policy·domain·publisher·human curator |
새로 복제하지 않은 것
다음 책임은 이미 전문 흐름이 있으므로 새 후보를 만들지 않았습니다.
C&B 전사·STT·환각 QA
법률·여행 등 도메인별 Skill
canonical knowledge workflow
lecture-recap-librarywrite-post
부모에 남긴 것
요청 적격성·배타 라우팅
하나의 사용자 대면 소유자와 실제 참여 기록
domain/lane 선택
전체 상태·blocker 보고
실패 후 마지막 검증 상태에서의 recovery와 rollback
🔌 새 Circuit에서 달라진 점
source request
→ normalizer
→ verified package
→ [긴 강의면 evidence orchestrator]
→ one final composer
→ independent quality gate
→ canonical and local library
→ [요청된 경우에만 web publisher]
실패하면 처음으로 돌아가지 않습니다.
source/hash/STT 결함 → normalizer 또는 C&B
range/merge 결함 → evidence orchestrator
narrative/order 결함 → composer
독립 QA 결함 → defect ledger가 최소 담당 선택
web 결함 → web publisher, upstream recap/library 성공은 보존
Skill fleet 자체를 바꾸는 작업은 일반 강의 제작과 분리했습니다.
중복·라우팅 drift·migration 제안
→ fleet governance
→ profile-aware inventory
→ domain별 golden shadow test
→ PASS 또는 NO-GO
→ Human Gate 전에는 live cutover 금지
✅ 실제 검증 결과
구조 검증
Census 절차 행: 26개
누락된 원본 책임 영역: 0개
학습자 결정 대기 행: 0개
learner-owned 후보: 정확히 6개
모든 후보에 Use When·Input·Steps·Output·Verifier·Failure Return·Must Not·Evidence·Done 존재
행동 fixture
Fixture | 확인한 행동 | 결과 |
|---|---|---|
정상 전체 흐름 | package→evidence→composer→QA→library→web | PASS |
위조 package | ready 상태여도 hash 불일치면 downstream 전부 차단 | PASS |
짧은 강의 경계 | evidence와 web을 정직하게 skip | PASS |
governance 경계 | golden baseline 부족 시 NO-GO, 기존 경로 보존 | PASS |
저작 형식 FAIL과 Repair
첫 Hermes 형식 검증에서는 두 후보 description이 각각 Use after, Use only when으로 시작해 peer 규칙의 정확한 Use when trigger 형식을 어겼습니다.
역할·입출력·시험은 바꾸지 않고 문구 두 곳만 최소 수정했습니다. 같은 YAML/frontmatter validator와 행동 evaluator를 다시 실행해 모두 PASS했습니다.
📊 Before vs After
항목 | 최초 상태 | 최종 상태 |
|---|---|---|
책임 조사 | 첫 절단선에서 후보 2개 발견 후 종료 | end-to-end 26개 절차 Census |
후보 구조 | normalizer + synthesis orchestrator | 부모 + 독립 후보 6개 + 기존 Skill 재사용 |
합성 책임 | evidence·글쓰기·QA가 다시 섞임 | evidence·composer·independent QA 분리 |
게시 책임 | 전체 Skill 안에 설명만 존재 | local library 재사용 + web publisher 독립 |
fleet 변경 | production 흐름과 혼재 | fleet governance와 shadow/cutover Gate 분리 |
실패 반환 | 주로 A↔B | 단계별 최소 failure owner |
운영 변경 | 미실행 | 여전히 미실행, learner candidate만 생성 |
🧭 가장 크게 배운 점
1. 최소 후보 수는 탐색 중단 조건이 아니다
“두 개 이상 만들기”는 전체를 두 개로만 나누라는 뜻이 아닙니다. 전체 절차를 조사한 뒤 학습자가 두 개든 여섯 개든 근거를 보고 결정해야 합니다.
2. 후보를 모두 보여줘야 Human Gate가 진짜가 된다
AI가 먼저 후보를 줄여 버리면 학습자는 보이지 않는 선택지를 결정할 수 없습니다. 모든 evidence-supported 후보와 부모·support 분류 이유를 한꺼번에 보여줘야 합니다.
3. Gate·Verifier·Failure Return은 다르다
Gate: 다음 단계로 진행해도 되는가?
Verifier: 해당 단계의 결과가 올바른가?
Failure Return: 누가 어느 범위만 고치는가?
4. 기존 전문 Skill을 복제하지 않는 것도 중요한 설계다
모든 책임을 새 Skill로 만들면 또 다른 중복이 생깁니다. 이미 독립 권한과 검증기를 가진 STT·도메인·library·사례글 흐름은 연결해야 합니다.
5. 첫 FAIL과 첫 잘못된 결론을 지우지 않는다
계약 Gate 누락도, 후보 두 개에서 멈춘 판단도 학습 증거입니다. 무엇이 부족했고 어떤 최소 수정으로 구조가 나아졌는지 남겨야 재사용할 수 있습니다.
💬 재사용 가능한 프롬프트
프롬프트 1: 전체 절차 Census 만들기
다음 Skill을 처음부터 끝까지 전수조사해 주세요. 후보 두 개를 찾았다고 멈추지 마세요. 모든 절차에 대해 입력, 출력, 도구, 실패 소유자, verifier, 최소 수리 방법, 변경 주기, 재사용 trigger, 앞뒤 handoff를 기록해 주세요. 각 절차를 먼저 Skill 후보로 펼친 뒤
standalone Skill / parent 내부 / support script·template로 분류하고, 제외하거나 병합한 이유도 적어 주세요. 아직 파일은 수정하지 마세요.
프롬프트 2: 후보 전체를 Human Gate에 올리기
Census에서 독립 입력·출력·verifier·failure owner가 있는 후보를 모두 보여 주세요. 임의로 두 개만 고르지 마세요. 비슷한 후보는 병합안을 함께 제시하되 원래 후보도 숨기지 말고, 기존 Skill 재사용·부모 유지·support 분류를 구분해 주세요. 학습자가
accepted / revised / merged / kept in parent를 결정할 때까지 active Skill을 만들지 마세요.
프롬프트 3: 성공·실패·경계·NO-GO 평가
확정된 모든 후보에 대해 정상 전체 흐름, 위조·누락 실패, 선택 단계가 필요 없는 경계 입력, migration NO-GO 시나리오를 만드세요. 예상 Gate와 최소 repair owner를 먼저 고정하고 실제 evaluator를 실행하세요. 실패 후 평가 기준을 느슨하게 바꾸지 말고 가장 작은 결함만 수정한 뒤 같은 검사를 다시 실행하세요.
🚀 앞으로의 계획
현재 결과는 learner candidate이며 live Skill에 설치하지 않았습니다. 다음 단계는 실제 장시간 강의 한 건으로 source→evidence→composer→QA handoff를 production-shadow 방식으로 확인하는 것입니다. 그 뒤에도 domain별 golden baseline과 rollback 없이 기존 Skill을 교체하지 않습니다.
이번 작업의 목표는 Skill 수를 늘리는 것이 아니라, 전체 책임을 설명하고 실패가 돌아갈 정확한 주소를 만드는 것이었습니다.
로그인하고 댓글을 남겨 주세요
유피테르님, 세 행동 시험이 기대대로 움직였는데도 전체 평가를 FAIL로 유지한 장면에서 오래 멈췄어요. 누락을 정직하게 기록했다는 사실과 완전한 coverage 정책을 충족했다는 판단을 갈라 놓고, 평가를 느슨하게 바꾸는 대신 계약에 Gate 하나만 보탠 선택이 이 글의 태도를 잘 보여줘요. ‘돌아간다’는 결과보다 무엇을 증명하지 못했는지를 남겼기 때문에 첫 실패가 이후 구조를 바꿀 수 있었네요.
그 뒤 정식 기준을 다시 읽고 앞선 완료 판단을 철회한 다음, 26개 절차를 입력·출력·검증자·수리 담당·변경 주기까지 펼친 흐름이 더 크게 다가왔어요. 여기서 여섯 후보를 새로 만드는 데 그치지 않고 C&B 전사, 도메인, library, 사례글처럼 이미 독립 책임이 있는 흐름은 복제하지 않았고, 게시와 fleet 변경도 별도 Gate로 떼어냈죠. 덕분에 다른 독자는 Skill 분해를 폴더 정리로 보지 않고, 실패가 어디로 돌아가며 이미 통과한 상태를 얼마나 보존하는지로 판단할 수 있겠습니다.
다음 production-shadow 한 건에서는 최종 리캡의 품질만 보는 것보다, 중간 결함 하나가 생겼을 때 정상인 upstream package의 hash는 그대로 남고 정확한 담당만 다시 움직이는지까지 한 줄의 trace로 확인해보면 좋겠어요. source→evidence→composer→QA 사이에서 재실행된 단계와 보존된 단계를 함께 읽을 수 있다면, 이번에 설계한 ‘마지막 검증 상태에서 최소 담당자에게 반환한다’는 약속이 실제 긴 강의에서도 지켜지는지 가장 작게 확인할 수 있을 것 같아요. 잘못된 결론까지 지우지 않고 다시 조사한 과정 자체가 이미 이 글의 단단한 증거였습니다.
첫 FAIL과 첫 잘못된 결론을 지우지 않는다.
실패의 fail이 아닌 오히려 value를 가진 판정이라 생각합니다. 파레토에 있어서 비지배 판정인데 이 결과물 값이 더 최적 달성을 위한 비교 실축의 데이터로 이어질 수 있습니다
"최소 두 개 후보를 만들었다"가 끝이 아니었다는 깨달음이 핵심이에요. Build Gate를 통과했다고 전체 책임 조사가 끝난 게 아니라는 걸 직접 체감하고, 26개 절차 Census를 다시 만든 과정이 설득력 있어요.
verifier·failure owner·repair 방법이 달라지는 곳에서 나눈다는 기준도 명확해요. 파일 길이나 기능 개수로 나누는 것보다 훨씬 견고한 설계 기준이고, 실제로 문제가 생겼을 때 어디를 고쳐야 하는지가 바로 보이는 구조죠.
live Skill이나 운영 배포는 건드리지 않고 학습자 작업장에서만 했다는 점도 좋았어요. 배우면서도 기존 걸 지키는 방식.
오 이 부분 진짜 재밌어요 👀

큰 AI 스킬은 단순히 파일 길이를 기준으로 나누기보다 검사 방법과 오류를 고칠 담당자가 달라지는 지점을 기준으로 나눠야 한다는 인사이트를 얻었어요.
최소 요구사항만 통과했다고 끝내지 않고 전체 작업 과정을 빠짐없이 살펴봐야 숨어 있는 책임과 누락을 발견할 수 있다는 인사이트를 얻었어요.