스킬 27개를 깎아 두고 실제로는 4개만 쓰고 있었습니다: 게이트를 붙인 8개는 그 안에 없었습니다
2026.08.04
소개
1주차 과제는 반복 업무 하나를 골라 스킬을 만들어 보는 것입니다. 그런데 저는 이미 스킬을 27개 만들어 둔 상태였습니다. 여기서 하나를 더 만드는 것보다, 이미 만든 27개가 강의에서 말한 "계약서" 노릇을 하고 있는지 확인하는 편이 저에게 더 필요하다고 봤습니다.
강의에서 스터디장이 이렇게 정리했습니다. 스킬은 언제부터 어디까지 어떻게 일해야 하는지, 무엇을 하면 성공이고 실패하면 어떻게 하는지를 정한 계약서라고요. 그리고 2주차 예고에서 소프트 게이트만 있는 하네스와 코드 게이트가 있는 하네스를 갈랐습니다.
저는 바이오·제약 데이터를 분석합니다. 숫자를 받으면 분모부터 확인하는 습관이 있어서, 이번에도 "잘 만들어 둔 것 같다"는 느낌 대신 세어 보기로 했습니다. 질문은 셋이었습니다.
27개 중 실제로 불린 것은 몇 개인가
완료 기준을 코드로 검증하는 스킬은 몇 개인가
그 둘은 같은 스킬인가
세 번째 질문의 답이 이 글의 내용입니다.
참고: 스터디 기준 도구는 헤르메스와 오픈클로지만, 스터디장이 클로드 코드나 코덱스로 따라와도 된다고 안내해서 저는 클로드 코드 스킬을 대상으로 했습니다.
진행 방법
사용 도구: Claude Code, Python 3, grep
Step 1. 로딩 순서부터 확인
강의에서 가장 먼저 짚은 것이 문서 로딩 순서였습니다. 오픈클로는 AGENTS.md가 1등이고 헤르메스는 SOUL.md가 1등이라 정반대라는 대목입니다.
제 설정을 열어 봤더니 규칙이 CLAUDE.md 한 곳에 있지 않고 rules/ 아래 8개 파일로 나뉘어 참조되는 구조였습니다. 문체, 제목, 인용, 그림, 작업 규율, 스크립트 안전, HTML 출력이 각각 파일 하나씩입니다. 이 구조 자체는 강의에서 말한 "제일 중요한 규칙을 맨 앞에"와 어긋나지 않습니다.
여기까지는 문제가 없어서 스킬 쪽으로 넘어갔습니다.
Step 2. 실제로 불린 스킬 세기
느낌이 아니라 기록으로 세야 했습니다. 클로드 코드는 세션 기록을 ~/.claude/projects/ 아래 .jsonl로 남깁니다. 스킬 호출은 그 안에 "skill":"이름" 형태로 찍힙니다.
cd ~/.claude
find projects -name '*.jsonl' -print0 | xargs -0 \
grep -ho '"skill":"[^"]*"' | sed 's/.*:"//;s/"//' | sort | uniq -c | sort -rn
세션 로그 175개, 455MB를 훑었습니다. 결과입니다.
5 project-handoff-checkpoint
2 kr-style-polish
1 benchmark-sota
1 blog-post
27개를 만들어 두고 4개만 썼습니다. 총 호출은 9회입니다.
Step 3. 코드 게이트가 있는 스킬 가려내기
강의가 말한 "완료 기준"이 산문인지 실행 가능한 검사인지를 갈랐습니다. 처음에는 SKILL.md 본문에서 "완료 기준", "검증", "게이트" 같은 단어를 찾는 방식으로 셌는데, 27개 중 26개(96%)가 걸렸습니다.
이 숫자는 버렸습니다. "검증"은 아무 데나 나오는 단어라 근거가 되지 못합니다. 대신 실행 가능한 판정으로 바꿨습니다. 스킬 폴더 안에 스크립트가 있고, SKILL.md 본문이 그 스크립트를 실제로 호출하는가.
scripts = [f for f in d.rglob('*') if f.suffix in ('.py','.sh','.js','.mjs')]
invoked = any(re.search(re.escape(s.name), skill_md_text) for s in scripts)
구분 | 개수 |
|---|---|
실행 가능한 스크립트를 포함 | 9개 (33%) |
그중 본문이 실제로 호출 | 8개 (29%) |
산문 지침만 있음 | 18개 (66%) |
gget 하나는 스크립트가 3개 있는데 본문이 부르지 않습니다. 게이트를 만들어 놓고 배선을 안 한 상태입니다.
Step 4. 두 목록을 겹쳐 보기
여기서 예상하지 못한 결과가 나왔습니다.
실제 호출된 4개 : benchmark-sota, blog-post, kr-style-polish, project-handoff-checkpoint
코드 게이트 8개 : citation-management, literature-review, matplotlib, peer-review,
research-lookup, scientific-visualization, scientific-writing,
statistical-analysis
교집합 : 0개
공들여 게이트를 붙인 8개는 한 번도 불리지 않았고, 실제로 쓴 4개는 전부 산문 지침만 있습니다.
Step 5. 왜 그런지 가설 두 개를 세우고 검증
원인을 짐작만 하면 다음 주에 또 같은 스킬을 만듭니다. 가설 둘을 세우고 각각 쟀습니다.
가설 A: 긴 스킬은 안 불린다
구분 | SKILL.md 줄수 중앙값 |
|---|---|
호출된 4개 | 63줄 |
한 번도 안 쓴 23개 | 272줄 |
4.3배 차이입니다. 호출된 것은 39~107줄에 몰려 있고, 안 쓴 것은 49~1115줄로 퍼져 있습니다. 가설 A는 맞았습니다.
가설 B: description이 길어서 트리거가 안 걸린다
강의에서 description이 헤르메스는 60자, 오픈클로는 160자를 넘으면 잘린다고 했습니다. 제 스킬을 재 봤습니다.
기준 | 넘는 스킬 |
|---|---|
오픈클로 상한 160자 | 26개 / 27개 (96%) |
헤르메스 상한 60자 | 27개 / 27개 (100%) |
전부 넘습니다. 그런데 호출된 것과 안 된 것을 갈라 보면 description 길이는 중앙값 301자와 334자로 거의 같습니다. 가설 B는 이 데이터로는 설명이 되지 않습니다. description 길이는 호출 여부를 가르지 못했습니다.
클로드 코드의 description 상한이 얼마인지는 확인하지 못했습니다(Unverified). 다만 상한이 있다는 사실 자체를 모르고 사람이 읽을 설명처럼 길게 쓴 것은 맞습니다.
결과와 배운 점
측정 결과
항목 | 값 |
|---|---|
전역 스킬 정의 | 27개 |
세션 로그 175개(455MB)에서 실제 호출된 스킬 | 4개 (14%) |
총 호출 횟수 | 9회 |
코드 게이트를 가진 스킬 | 8개 (29%) |
호출된 스킬 ∩ 게이트 있는 스킬 | 0개 |
호출된 스킬 줄수 중앙값 | 63줄 |
안 쓴 스킬 줄수 중앙값 | 272줄 (4.3배) |
description이 오픈클로 상한 초과 | 26 / 27개 |
배운 점
게이트를 붙인 자리가 틀렸습니다. 저는 검증이 어려운 일(논문 인용 검증, 통계 분석, 그림 생성)에 스크립트를 붙였습니다. 판단 자체가 어려우니 자동 검사가 필요하다고 봤고, 그 생각은 지금도 맞다고 봅니다. 문제는 그 스킬들이 불리지 않는다는 것입니다. 게이트는 불려야 작동합니다. 안 불리는 스킬의 게이트는 코드가 아니라 주석입니다.
길이가 트리거를 죽입니다. 63줄과 272줄의 차이는 우연으로 보기 어렵습니다. 스킬을 정성껏 쓸수록 길어지고, 길어지면 에이전트가 "이 상황에 이걸 쓸지" 판단하기 어려워집니다. 강의에서 스터디장이 "코어를 먼저 만들고 확장한다"고 한 이유를 여기서 이해했습니다. 저는 순서를 반대로 했습니다. 처음부터 완성본을 쓰려다 트리거가 안 걸리는 문서를 만들었습니다.
가설을 두 개 세우길 잘했습니다. description 길이 가설이 그럴듯해 보였고, 실제로 27개 전부가 상한을 넘습니다. 하나만 재고 멈췄으면 "설명이 길어서 안 불린다"는 틀린 결론을 냈을 것입니다. 호출된 것과 안 된 것을 갈라서 비교하고 나서야 이 변수가 차이를 만들지 않는다는 것이 보였습니다. 분모를 나눠 보기 전에는 어떤 수치도 원인이 아닙니다.
내가 만든 스킬을 내가 안 쓴다는 사실을 몰랐습니다. 27개는 전부 필요하다고 생각해서 만든 것입니다. 세어 보기 전까지 4개만 쓰고 있다는 감각이 없었습니다. 강의에서 소개한 스킬 큐레이터가 안 쓰는 스킬을 아카이브로 합쳐 준다고 했는데, 그 기능이 왜 필요한지 이제 알겠습니다.
시행착오
처음에는
SKILL.md본문에서 "완료 기준", "검증", "게이트" 같은 단어를 찾는 방식으로 게이트를 셌습니다. 27개 중 26개가 걸려서 96%라는 숫자가 나왔는데, 그대로 썼으면 "내 스킬은 거의 다 게이트가 있다"는 반대 결론이 됩니다. 키워드가 있다는 것과 그 일이 실제로 일어난다는 것은 다릅니다. 실행 가능한 스크립트로 기준을 바꾸자 96%가 29%로 내려갔습니다.세션 로그를 파이썬으로 통째 읽어 집계하려다 455MB에서 시간이 오래 걸려 중단했습니다.
grep으로 필요한 줄만 뽑고 파이썬은 집계에만 쓰니 바로 끝났습니다. 큰 로그는 통째로 메모리에 올리지 않는 편이 낫습니다.
앞으로의 계획
2주차에 배울 우산 구조로 긴 스킬 8개를 나눌 계획입니다. 1115줄짜리
citation-management가 첫 대상입니다. 게이트는 이미 있으니 트리거가 걸리는 크기로 잘라 붙이면 됩니다.안 쓰는 23개를 지우지 않고 왜 안 불렸는지부터 스킬별로 적어 두려 합니다. 강의에서 스킬 큐레이터가 삭제가 아니라 아카이브를 한다고 했는데, 지우면 왜 실패했는지가 함께 사라집니다.
실제로 쓰는 4개에 코드 게이트를 먼저 붙이겠습니다. 게이트가 없는 쪽에 게이트를 붙이는 것이, 안 불리는 쪽을 더 정교하게 만드는 것보다 앞섭니다.
4주차 지속 개선 흐름에서는 이번에 쓴 집계 명령을 그대로 정기 점검으로 돌려 볼 생각입니다. 호출 이력은 이미 로그에 쌓이고 있으니 세는 쪽만 반복하면 됩니다.
도움 받은 글 (옵션)
23기 에이전트 하네스 1주차 강의 (지아코모): 오픈클로와 헤르메스의 문서 로딩 순서 차이, 스킬의 다섯 요소, 소프트 게이트와 코드 게이트의 구분, description 길이 상한
로그인하고 댓글을 남겨 주세요
Fri-mer님 글은 이미 스킬이 27개 있다는 사실을 성과로 세우지 않고 ‘그중 실제로 불린 것은 몇 개인가’로 질문을 바꾼 데서 결이 결정됐어요. 세션 로그 175개를 훑어 실제 호출은 4개·9회였고, 코드 게이트가 배선된 8개와의 교집합이 0이라는 결과를 만든 것도 중요하지만, 더 인상 깊은 장면은 처음 얻은 96%를 스스로 버린 부분이었습니다. ‘검증’이라는 단어가 있으면 게이트로 세는 기준이 답을 왜곡한다는 걸 발견하고, 실행 스크립트가 존재하며 본문이 실제 호출하는가로 판정 기준을 바꾸자 29%가 됐습니다. 큰 로그를 통째로 읽는 시도도 중단하고 grep으로 필요한 줄만 거른 뒤 집계하는 방식으로 바꿨고요. 숫자를 많이 만든 것이 아니라, 틀린 측정법과 비효율적인 처리법을 각각 폐기한 과정이라 다른 분야의 운영 점검에도 그대로 옮길 수 있어요.
여기서는 결과와 가설을 분리해서 보는 것이 중요해요. 호출된 스킬의 줄 수 중앙값 63줄과 미호출 스킬의 272줄 차이는 이 데이터에서 확인된 결과지만, 길이가 호출을 낮췄다는 인과는 아직 유력한 가설입니다. description 길이가 두 집단을 가르지 못한다는 반례를 직접 남긴 것처럼, 길이도 같은 스킬을 줄이기 전후로 비교해야 변화 원인에 가까이 갈 수 있어요.
첫 대상이라고 정한 1115줄짜리 스킬을 코어와 확장으로 나눈 뒤, 같은 종류의 요청에서 로딩 여부와 게이트 실행 여부를 이전 기록과 나란히 남기는 것이 가장 작은 검증 장면입니다. 성공 신호는 호출 횟수 증가 하나가 아니라, 같은 종류의 요청에서 선택되고 실제 게이트 경로까지 이어진 로그입니다.
분모를 나누고, 그럴듯했던 96%를 폐기하고, 설명 길이 가설까지 스스로 기각한 검토 방식이 특히 좋았어요. 완성한 스킬의 개수보다 자신의 측정 기준을 다시 측정한 이 기록이 훨씬 강한 운영 자산으로 남습니다.




정성껏 만든 코드 게이트 스킬 8개가 실제로는 하나도 안 쓰였다는 반전을 데이터로 직접 증명해 내신 게 멋지십니다!