스킬 4개 제작 검토 및 지아코모님 파일 검토
2026.07.27
스킬 4개 제작 검토 및 지아코모님 파일 검토
📝 한줄 요약
스킬 4종을 만들려고 검토하다가, 만든 걸 계속 깎아내는 쪽으로 방향이 바뀌었습니다. 적대적 감사를 네 번 돌렸고, 매 라운드가 앞 라운드의 수정을 다시 깼습니다.
바쁘시면 이것만 읽어도 돼요
만들려던 스킬 4종 중 3종을 중복 판정에 걸어봤더니 2종이 이미 있는 스킬과 겹쳤다. 새로 만들지 않고 경계를 나눴습니다.
"줄바꿈·표 넘어감 검토하는 내용이 없다"는 지적을 grep으로 확인했더니 검수 항목이 정말 0건이었습니다.
체크리스트를 3곳에 복붙하지 않으려고 공용 게이트 스킬을 따로 만들었는데, 그 규칙을 제가 만든 파일이 먼저 어겼습니다. 한 곳은 문장이 완전히 똑같았습니다(유사도 1.00).
고치고 나서 돌린 3차 감사가 더 아픈 걸 찾았습니다. 완전히 해소된 건 6건 중 2건이고, 새로 만든 2종이 방금 지운 실수를 다시 재생산했습니다.
감사의 진단이 정확했습니다 — "수정은 파일 단위로 적용됐고 규칙 단위로는 적용되지 않았다."
제가 개선폭을 부풀린 수치 1건도 잡혔습니다.
0/6이 맞는 줄 알았는데 실제로는1/6이었습니다. Before를 나쁘게 적는 방향의 오류였습니다.
🎯 이런 분들께 도움돼요
AI 스킬(또는 프롬프트 템플릿)을 여러 개 만들었는데 관리 기준이 없는 분
규칙 문서를 만들어 놓고도 정작 그 규칙이 지켜지는지 확인해 본 적 없는 분
AI가 "다 고쳤습니다"라고 할 때 어디까지 믿어야 할지 모르겠는 분
스킬을 새로 추가할 때마다 기존 파일이 낡아가는 걸 겪은 분
😫 문제 상황 (Before)
스킬을 계속 만들었습니다. 그런데 관리 기준이 없었습니다.
스킬이 늘어나는데 뭐가 있는지 목록을 볼 곳이 없었습니다. 새 요청이 오면 기존 스킬 중 겹치는 게 있는지 확인하지 않고 그냥 하나 더 만들었습니다.
만든 스킬이 어떤 산출물을 어디에 내는지 파일마다 다르게 적혀 있었습니다.
스킬이 만든 문서가 줄바꿈이 깨지거나 표가 화면 밖으로 넘어가도 아무 데서도 걸리지 않았습니다.
"스킬 관리 4계층"(목록 → 선택 → 분류 → 관계) 학습자료를 받았는데, 그 기준으로 제 스킬을 실제로 재봐야 할 상태였습니다.
이 상태에서 만들 스킬 4종을 정했습니다. 우선순위는 이렇게 지시했습니다.
어떤 스킬을 만들건지 정리해서 올리는 것도 괜찮을거 같아. 나는 회의록 작성 스킬,
미팅 자료 작성 스킬, ATP 측정 보고서 제작 스킬, 영상 제작 스킬을 만들려고 하니
그런것들을 알려주는 스킬을 만들면 될거 같아. 가장 1번 우선순위는 회의록 작성 스킬이야.
1순위는 회의록 작성입니다. 품질 기준을 여기에 맞추고 나머지가 따라가는 구조로 잡았습니다. "그런 것들을 알려주는 스킬"은 라우터, 즉 목록과 선택을 안내하는 스킬입니다.
🛠️ 사용한 도구
도구 | 이 작업에서 한 일 |
|---|---|
Claude Code | 스킬 초안 작성, 병렬 감사 실행 |
grep / awk / python3 | 주장을 실측으로 바꾸는 판정 도구 |
스킬 관리 4계층 자료 | 목록·선택·분류·관계 판정 기준 |
핵심은 세 번째가 아니라 두 번째입니다. 이 작업에서 판정은 전부 명령어 출력으로 했습니다. "잘 정리된 것 같다"는 문장은 판정으로 세지 않았습니다.
🔧 작업 과정
1라운드 — 만들기 전에 중복을 먼저 판정했다
바로 만들지 않고, 만들려는 3종이 기존 스킬과 겹치는지 먼저 봤습니다. 겹칠 것 같은 기존 스킬은 파일 전문을 읽고 판정했습니다.
만들려던 것 | 판정 | 결정 |
|---|---|---|
회의록 작성 | 중복 높음 | 경계 분할 |
ATP 측정 보고서 | 중복 높음 | 관계 접합 |
영상 만들기 | 낮음 | 신규 정당 |
3개 중 2개가 중복 후보로 나왔습니다. 그래서 두 스킬은 신규 도메인이 아니라 기존 스킬과의 경계 분할로 설계를 바꿨습니다.
회의록 쪽 경계는 이렇게 갈랐습니다. 원문(전사)을 찾아오는 일은 기존 스킬이 계속 하고, 새 스킬은 이미 손에 있는 전사를 회의록 파일과 배달 카드로 바꾸는 일만 합니다. 같은 일을 두 번 하는 게 아니라 한 흐름을 두 계약으로 쪼갠 겁니다.
이 단계가 이 작업에서 가장 값이 컸습니다. 남의 완성본을 그대로 받아썼다면 이 판정 자체가 없었을 겁니다.
2라운드 — 지적을 받았고, 그 지적이 사실이었다
3종 초안을 만든 직후 이런 지적이 들어왔습니다.
지금 hermes가 만들어놓은 스킬은 디자인도 미약하고 줄바꿈, 표 넘어감, 페이지 넘어감 등
검토하는 내용도 없을거야. 개선해야될 부분이 많으니 계속해서 개선해 나가야해.
자료(회의록이나 미팅 자료)를 만들때는 핵심만 짚고 중복되는 내용이 없도록 해야돼.
핵심이 뚜렷할때는 핵심 1, 핵심 2, 핵심 3 등으로 정리해서 핵심을 잘 정리해야돼.
방금 만든 3개 파일을 grep으로 검증했습니다. 지적이 사실이었습니다.
줄바꿈·표 넘어감·페이지 넘어감·열 너비 검수 항목: 0건
핵심 1 / 2 / 3패턴: 0건중복이 매칭된 곳은 전부 "스킬 중복 판정" 이야기였고, 산출 문서의 내용 중복 규칙은 없었습니다
여기서 갈림길이 하나 있었습니다. 체크리스트를 3개 스킬 파일에 각각 붙이면 규칙이 3벌 생깁니다. 그런데 사용자가 방금 지시한 게 "중복되는 내용이 없도록"입니다. 그 지시를 스킬 파일 자체에 적용해야 앞뒤가 맞습니다.
그래서 공용 게이트 스킬 1개(document-output-qa)를 따로 만들었습니다. 검수 규칙 본문은 여기에만 두고, 나머지 스킬은 "이 게이트를 따른다"고 가리키기만 합니다. 게이트는 상류를 되받아 걸지 않는 단방향으로 설계했습니다(관계가 서로 물려 돌지 않게).
3라운드 — 내가 만든 규칙을 내가 깼다
게이트를 만든 것으로 끝내지 않고, 그 게이트가 자기 규칙을 지키는지 감사를 한 라운드 더 돌렸습니다. 감사는 대상 파일을 수정하지 않고 판정만 내리게 했습니다.
2차 감사가 FAIL 6건을 찾았습니다. 그중 아픈 건 세 개였습니다.
핵심 1 — "복사하지 않는다"고 선언한 뒤 복사했다. 회의록 스킬이 "검수 항목 전문은 그 스킬에 있고 여기에 복사하지 않는다"고 써 놓고, 바로 아래에서 게이트 규칙 5개를 다시 서술했습니다. 한 곳은 문장이 글자 하나 다르지 않게 똑같았습니다(유사도 1.00).
핵심 2 — 표 셀 40자 상한을 규칙으로 적은 파일이 그 상한을 어겼다. 40자 초과 셀 9건, 최악은 131자였습니다. 복구 절차 전체가 표 한 칸에 들어가 있었습니다.
핵심 3 — 트리거 문장이 최대 5곳에 저장돼 있었다. 같은 문장을 두 절에 그대로 두는 순수 중복이 포함됩니다.
여기서 한 가지는 위안이었습니다. ATP 스킬만 포인터 규율을 지켰습니다. "개수별 표기와 압축 방식은 게이트 계약을 따른다"로 가리키기만 했습니다. 즉 규율이 불가능한 게 아니라 그날 나머지 파일에서 안 지켜진 것이었습니다.
이 밖에 실행 불가 지시 1건(파일 형식이 안 맞아 확인 명령이 하나도 돌지 않는 표면), 사실 오류 2건(잘못 인용한 문자열, 존재하지 않는 분류 값)이 나왔습니다.
4라운드 — 여기가 이 글의 핵심이다
이 시점에 요청이 한 번 더 조정됐습니다.
아니 사실 나는 zip 파일과 md 파일을 읽고 과제를 진행하고 싶었어. 기존 스킬을 더 깎아
나가는 내용을 작성하면 좋을거 같긴한데.
"더 깎아 나가는 것"으로 방향이 확정됐습니다. 그래서 2차 감사 FAIL 6건을 수정하고, 신규 2종(미팅 자료 작성, 라우터)을 만들고, 3차 감사를 돌렸습니다.
3차 감사는 "고쳤는지"만 봤습니다. 그리고 부분 해소를 통과로 세지 않았습니다.
구분 | 건수 |
|---|---|
완전 해소 | 2 / 6 |
부분 해소 | 4 / 6 |
신규 FAIL | 8 |
관계 공리 위반 | 0 (잠재 1) |
감사 원문의 진단은 이랬습니다.
나머지 4건은 v2가 지목한 그 위치에서는 고쳐졌지만 다른 위치에 같은 형태가 남았다. 부분 해소를 통과로 세지 않는다.
그리고 가장 아픈 문장이 이것입니다.
신규 2종이 v2 FAIL의 절반을 그대로 재생산했다. (…) 수정은 파일 단위로 적용됐고 규칙 단위로는 적용되지 않았다.
무슨 일이 있었는지 구체적으로 적습니다.
첫째, 미팅 자료 스킬이 방금 지운 규칙 사본을 다시 넣었습니다. 회의록 스킬에서 지운 건 5개였고, 미팅 자료 스킬이 새로 재서술한 건 게이트 규칙 6개입니다(세는 대상이 달라 숫자가 다릅니다). 어휘만 바꿔 재서술했습니다. 핵심을 안건으로, 문서 등장 순을 원장 등장 순으로 바꿨습니다. 그 파일에서 원본 규칙 번호(A-1)를 참조한 횟수는 0회입니다.
더 고약한 건 검출 방식입니다. 문자열 유사도가 0.44~0.68로 나왔습니다. 자동 검사 임계값이 0.70이라 어떤 기계 검사도 이걸 잡지 못합니다. 게이트 문서에 "기계로 못 잡는 것 — 같은 사실을 다른 표현으로 두 번 쓴 경우"라고 예고해 둔 바로 그 형태가 그대로 나왔습니다.
둘째, 라우터가 이미 교정된 값을 여전히 사실로 인용했습니다. 2차 감사에서 존재하지 않는 분류 값 하나를 실측값으로 교정했는데, 새로 만든 라우터가 그 옛 값을 그대로 인용하며 "5종 중 3종이 실재하지 않는다"고 적었습니다. 실측하면 3종이 아니라 2종입니다. 교정한 사실이 다른 파일에서 되살아난 겁니다.
셋째, 개행 검수 항목 누락이 새 파일에서 재발했습니다. 2차 감사가 "0건"으로 지목한 두 파일은 각각 2건이 되어 닫혔습니다. 그런데 새로 만든 미팅 자료 스킬의 렌더링 체크리스트에 개행 항목이 0건입니다. 같은 결함이 새 파일에서 다시 나왔습니다.
5라운드 — 경계는 한쪽에만 걸려 있었다
3차 감사가 찾은 것 중 구조적으로 가장 무거운 건 이겁니다.
회의록과 미팅 자료는 "회의 후 / 회의 전"으로 시점이 반대인 형제 스킬입니다. 한국어로 "회의 정리해줘"라고 하면 양쪽으로 다 읽히니까 서로 막아야 합니다.
측정 결과는 완전히 비대칭이었습니다.
방향 | 상대 언급 | 방어 |
|---|---|---|
미팅자료 → 회의록 | 21곳 | 4중 |
회의록 → 미팅자료 | 0곳 | 없음 |
새로 만든 미팅 자료 스킬은 회의록 방향을 21곳에서 언급하며 막습니다. 인덱스에 노출되는 앞 57자의 잘림 지점도 정확히 회의 후 회의록에서 끝나게 배치했습니다. 이 방향 하나는 잘 막았습니다 — 다만 같은 파일이 규칙 재서술과 개행 항목 누락으로 신규 FAIL 2건을 받았으니, 파일 전체가 잘 만들어졌다는 뜻은 아닙니다.
그런데 회의록 스킬은 미팅 자료 스킬을 0회 언급합니다. 그리고 지금도 이렇게 적혀 있습니다.
프리시전 축 — 이 스킬이 오발동하기 쉬운 방향은 두 개뿐이고, negative_trigger에 둘 다 박아 두었다.
세 번째 방향이 생긴 뒤에도 "두 개뿐"이 남아 있습니다. 이 문장은 이제 거짓이고, 다음에 이 파일을 읽는 사람이 "경계가 완비됐다"고 판단할 근거로 쓰입니다.
원인은 개인의 실수가 아닙니다. 스킬을 추가할 때 기존 파일을 함께 고치는 절차가 없었습니다.
6라운드 — 내가 부풀린 수치를 잡혔다
이건 제 쪽 정직성 문제입니다.
개선 전후 대조 문서와 사례글에서, 원본 스킬의 "단계별 완료 판정"을 0/6으로 적었습니다. 틀렸습니다. 원본에 완료 검증 문장이 실재합니다.
원본 62행 —
5. **Verify the artifact.**원본 66행 —
...before reporting completion원본 85행 —
Bad: saying "완료" before verifying...
정답은 1/6입니다.
가설을 세워 하나씩 기각했습니다.
가설 | 기각 근거 |
|---|---|
원본에 완료 검증이 없다 | 62·66·85행 실재 |
"6"이 다른 것을 센다 | 원본이 정확히 6단계 |
감사표가 틀렸다 | 감사가 맞고 표가 모순 |
더 나쁜 건 같은 문서 15행이 이미 "1~4·6단계에 완료 판정 없음"으로 정확히 적고 있었다는 점입니다. 표만 0/6이었습니다. 문서 내부 모순이었고, 방향은 하필 Before를 실제보다 나쁘게 적어 개선폭을 부풀리는 쪽이었습니다. 두 파일 다 고쳤습니다.
7라운드 — 고칠 수 있는 것과 고치면 안 되는 것
감사가 기존 스킬 컬렉션에서도 결함을 찾았습니다. 그중 하나는 삭제된 스킬을 여전히 참조하는 끊어진 연결(dangling edge)이었습니다. 처음에는 "고쳐라"라고 권고했습니다.
그런데 번들 목록 파일(76줄)을 대조해 보니 그 스킬 2종은 배포본이라 수정 금지 대상이었습니다.
그래서 앞서 낸 권고를 철회하고 "업스트림에 보고할 항목"으로 바꿨습니다. 제가 소유한 4종만 수정 허용 대상으로 남겼습니다. 스킬 루트에서 최근 수정된 파일이 0건임을 다시 확인해, 남의 파일을 건드리지 않았다는 것도 실측으로 남겼습니다.
결함을 찾은 것과 고칠 권한이 있는 것은 별개입니다. 이걸 확인하지 않고 고쳤다면 남의 배포본을 수정한 상태가 됐을 겁니다.
8라운드 — 이 글이 세 번째 재발이었다
이 글의 초안을 쓴 뒤 검증을 한 번 더 돌렸습니다. 글에서 거짓 5건이 나왔습니다. 그중 하나가 이 글의 주제를 그대로 반복한 것이었습니다.
초안에는 이렇게 적혀 있었습니다.
미팅 자료 작성과 라우터는 FAIL이 0건인 게 아니라 판정을 받은 적이 없습니다.
거짓입니다. 3차 감사가 두 스킬에 각각 2건씩 신규 FAIL을 배정했습니다. 실측하면 감사 문서가 두 스킬을 23곳에서 언급합니다.
원인을 추적했더니 시각 문제였습니다.
문서 | 작성 시각 | 그때 사실이었나 |
|---|---|---|
로드맵 | 00:41 | 예 — 아직 미감사 |
3차 감사 | 00:54 | 여기서 판정됨 |
이 글 초안 | 01:09 | 아니오 — 낡은 값 |
로드맵이 "미감사"라고 적은 건 00:41 시점에는 맞는 문장이었습니다. 13분 뒤 감사가 돌면서 거짓이 됐고, 초안은 그 낡은 문장을 그대로 옮겼습니다. 감사 문서를 읽고 그 내용을 4라운드·5라운드에 써 놓고서도, 상태 표기만은 낡은 출처를 따랐습니다.
가설 세 개를 세워 확인했습니다.
"글이 지어낸 것이다" → 기각. 로드맵에
미감사가 실제로 적혀 있습니다."감사가 두 스킬을 판정하지 않았다" → 기각. 23곳 언급 + FAIL 4건 배정.
"로드맵이 처음부터 틀렸다" → 기각. 00:41 < 00:54, 작성 시점엔 정확했습니다.
남는 원인은 하나입니다. 낡은 출처에서 시점이 지난 사실을 그대로 물려받았고, 새 문서와 대조하지 않았습니다.
이게 왜 중요한가 하면, 이 글이 진단한 실패의 한 단계 위 버전이기 때문입니다.
재발 | 무엇이 전파되지 않았나 |
|---|---|
1차 (3라운드) | 규칙이 자기 파일에 |
2차 (4라운드) | 수정이 새 파일에 |
3차 (이 글) | 사실이 새 시점에 |
"수정은 파일 단위로 적용됐고 규칙 단위로는 적용되지 않았다"고 쓴 글이, 사실을 문서 단위로만 갱신하고 시점 단위로는 갱신하지 않았습니다. 같은 형태가 층을 바꿔 세 번 나왔습니다.
나머지 4건도 같은 종류였습니다. 규칙 저장 위치를 1곳 + 나머지는 포인터로 적었는데 실측하면 포인터 3 / 재서술 1이었고, 완전 동일 문장 제거라고 적었는데 오늘 새로 생긴 동일 문장이 3개 파일에 있었습니다. 전부 "지목된 것만 닫고 일반화하지 않은" 형태입니다.
그래서 이 절을 지우지 않고 남겼습니다. 고치고 조용히 넘어가면, 이 글은 자기가 진단한 실패를 스스로 저지른 기록을 잃습니다. 검증을 한 라운드 더 돌리지 않았으면 이 글은 거짓 5건을 담고 게시됐을 겁니다.
✅ 결과 (After)
항목 | Before | After |
|---|---|---|
스킬 관리 기준 | 없음 | 4계층 기준 적용 |
만들기 전 중복 판정 | 안 함 | 3종 판정, 2종 경계 분할 |
렌더 검수 항목 | 0건 | 공용 게이트 1개로 분리 |
검수 규칙 저장 위치 | 없음 | 1곳 + 포인터 3 / 재서술 1 |
적대적 감사 | 0회 | 4회 (v1·v2·v3·확장) |
미해소 결함 파악 | 불가 | 부분 4건·신규 8건 명시 |
스킬 목록·관계 지도 | 없음 | 로드맵 문서 1개 |
설치·실행 검증 | 0건 | 0건 (변화 없음) |
결과 품질 | 미측정 |
|
마지막 두 행을 강조합니다.
구조가 바뀐 것과 결과가 좋아진 것은 다릅니다. 이 작업에서 바뀐 것은 파일 구조와 규칙 배치입니다. 6개 스킬 중 어느 것도 설치하지 않았고, 실제 입력으로 처음부터 끝까지 돌려보지 않았습니다. 따라서 "이 스킬로 만든 회의록의 품질이 좋아졌다"는 주장은 이 작업의 어떤 실측으로도 뒷받침되지 않습니다.
실측으로 확인한 것만 적으면 이렇습니다.
스킬 6종의 인덱스 노출 구간(앞 57자) 충돌 0건
관계 그래프: 노드 11개(내 스킬 6 + 관계가 가리키는 기존 스킬 5), 관계 10개, 자기참조 0 / 순환 0 / 자기대체 0
끊어진 연결 0 — 단 이건 내 스킬 6종이 내보내는 관계에 한정한 값입니다. 기존 컬렉션에는 끊어진 연결이 실재합니다(3라운드에서 발견)
공용 게이트는 여전히 종점: 들어오는 관계 4 / 나가는 관계 0
2차 감사 수정 재측정: 개행 항목 0→2·0→2, 잘못된 인용 교체, 분류 값 실존 확인, 실행 불가 지시 제거, 2차 감사가 지목한 완전 동일 문장 제거
다만 오늘 새로 생긴 완전 동일 문장이 3개 파일에 있습니다(설치 상태를 설명하는 한 문장). 지목된 쌍만 지웠고 같은 형태가 다시 생겼습니다 — 이 글의 4라운드가 말한 것과 같은 패턴입니다
런타임 실측: 등록 120개 중 화면에 노출 94개, 그중 26개(28%)가 잘림. 잘림 형태는 예외 없이
57자 + "..."
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
만들기 전에 "이미 있는 것과 겹치나"를 먼저 판정하게 했습니다. 3개 중 2개가 걸렸습니다. 이 판정 없이 만들면 겹치는 스킬이 두 개 늘어난 상태로 시작합니다.
감사가 대상 파일을 수정하지 못하게 막았습니다. 판정만 내리고 수정 지시는 문서로 남기게 했습니다. 판정과 수정을 같은 턴에서 하면 "고쳤습니다"만 남고 무엇이 FAIL이었는지 사라집니다.
부분 해소를 통과로 세지 않게 했습니다. 이 규칙 하나 때문에 6건 중 4건이 살아남았고, 그게 이 글의 내용이 됐습니다. 통과 기준을 느슨하게 잡으면 감사를 돌린 의미가 없습니다.
에이전트 주장을 받아쓰지 않고 직접 재측정했습니다. "고쳤습니다"를 grep과 python으로 다시 셌습니다. 실제로 라우터가 옛 값을 인용하는 건 재측정에서 나왔습니다.
이렇게 하면 안 돼요
공용 규칙을 만들었으면, 새 파일에도 그 규칙을 적용하는 절차를 같이 만들어야 합니다. 이번 실패의 핵심입니다. 규칙 저장소를 한 곳으로 모아 놓고 끝냈더니, 새로 만든 파일이 그 규칙을 어휘만 바꿔 다시 복사했습니다. 규칙을 한 곳에 모으는 것과 새 파일이 그걸 참조하게 만드는 것은 별개의 작업입니다. 후자를 안 하면 파일이 늘어날 때마다 사본이 늘어납니다.
스킬을 추가할 때 기존 파일을 함께 고치는 절차 없이 추가하지 마세요. 새 파일은 자기 경계를 다 알고 태어나지만, 기존 파일은 새 형제가 생긴 걸 모릅니다. 그 결과 한쪽만 방어하고, 기존 파일에는 "위험 방향은 두 개뿐"처럼 이제는 거짓인 문장이 남습니다.
문자열 유사도 같은 기계 검사만 믿지 마세요. 이번 재생산은 유사도 0.44~0.68로, 임계값 0.70을 넘지 않았습니다. 어휘를 바꾼 의미 중복은 사람이 규칙 단위로 대조해야 잡힙니다.
Before를 실제보다 나쁘게 적지 마세요. 개선폭이 커 보이는 방향의 오류는 스스로 눈치채기 어렵습니다. 저는 같은 문서 안에 정확한 서술을 이미 써 놓고도 표만 틀리게 적었습니다. 개선 전후를 쓸 때는 Before 쪽 숫자를 원본에서 다시 세는 게 안전합니다.
결함을 찾았다고 바로 고치라고 하지 마세요. 배포본은 수정 금지 대상일 수 있습니다. 소유권을 확인하기 전의 "고쳐라"는 회수해야 하는 권고가 됩니다.
"구조를 개선했다"를 "결과가 좋아졌다"로 바꿔 쓰지 마세요. 설치도 실행도 안 한 상태에서 품질 개선을 주장하면, 그때부터는 검증할 게 아니라 방어할 게 생깁니다.
🌍 다른 업무에 적용한다면?
스킬이 아니어도 같은 규칙이 여러 문서에 흩어지는 일이면 그대로 적용됩니다.
사내 업무 매뉴얼 — 부서별 매뉴얼에 같은 보안 규칙이 조금씩 다른 문장으로 들어가 있는 경우. 규칙을 한 문서로 모으고 나머지는 참조만 하게 바꾼 뒤, 새 매뉴얼이 그 참조를 실제로 쓰는지 검사하는 절차를 함께 만듭니다.
제안서·보고서 템플릿 — 템플릿을 새로 만들 때 기존 템플릿과 겹치는지 먼저 판정합니다. 겹치면 새로 만들지 않고 담당 범위를 나눕니다.
자동화 워크플로 / 챗봇 시나리오 — 새 시나리오를 추가할 때 기존 시나리오의 "이건 내 일이 아니다" 목록도 함께 고칩니다. 한쪽만 막으면 비슷한 요청이 한쪽으로 몰립니다.
개선 전후 보고 — Before 수치를 원본에서 다시 세는 절차를 넣습니다. 부풀린 개선폭은 나중에 더 비싸게 정정합니다.
🚀 앞으로의 계획
지금 상태를 정직하게 적으면, 6개 파일 다 초안이고 설치하지 않았고 실행 검증은 0건입니다. 3차 감사가 남긴 부분 해소 4건과 신규 FAIL 8건도 열려 있습니다.
다음에 할 것을 우선순위로 정리했습니다.
규칙 단위 전파를 먼저 닫습니다. 미팅 자료 스킬의 규칙 재서술을 포인터 한 줄로 바꾸고, 회의록 스킬에 세 번째 경계(미팅 자료 방향)를 넣고, "두 개뿐" 문장을 고칩니다. 라우터의 옛 값 인용도 실측값으로 교체합니다.
1순위 스킬 하나만 설치해서 실제로 돌립니다. 회의록 작성 스킬 하나를 설치하고 실제 입력으로 끝까지 돌려, 파일과 배달 카드가 나오는지 봅니다. 여기서 처음으로 "결과 품질"을 말할 근거가 생깁니다.
신규 2종의 FAIL 4건을 닫습니다. 미팅 자료 작성과 라우터는 3차 감사에서 각각 2건씩 신규 FAIL을 받았습니다(규칙 재서술, 개행 항목 누락, 옛 값 인용, 트리거 자기 지목).
관계 검사를 자동화합니다. 자기참조·순환·자기대체·끊어진 연결 네 가지를 지금은 손으로 확인했습니다. 스킬이 늘면 손 검사는 무너집니다.
여기서 스킬을 더 늘리지 않는 것도 계획입니다. 4계층 자료의 기준을 정직하게 적용하면, 관계 계층까지 채운 건 현재 규모에 비해 앞서 나간 쪽일 수 있습니다.
📋 재사용 가능한 프롬프트
① 만들기 전에 중복부터 판정하게 하는 프롬프트
나는 지금
[만들려는 것]을 새로 만들려고 해. 만들기 전에 먼저 판정해줘.
내가 이미 가진 것들 중 이것과 기능이 겹치는 후보를 찾아라. 파일명만 보지 말고 겹칠 것 같은 후보는 전문을 읽어라.
각 후보에 대해
중복 높음 / 낮음을 판정하고, 그렇게 판정한 근거를 파일의 어느 부분에서 읽었는지 적어라.중복 높음이 나오면 새로 만들지 말고 담당 경계를 어디서 자를지 제안하라. 어느 쪽이 무엇을 하고, 무엇을 하지 않는지 각각 한 문장으로.
판정 결과를 표로 남겨라.
겹치는 게 없다는 결론은 후보를 실제로 읽고 확인한 뒤에만 내라.
② 규칙이 규칙 단위로 전파됐는지 검사하는 프롬프트 (이번 실패의 핵심)
[공용 규칙 파일]에 모아 둔 규칙이 있다. 나머지 파일들이 그 규칙을 복사하지 않고 가리키기만 하는지 검사해줘.
각 파일에서 공용 규칙의 번호·이름을 참조한 횟수를 세라. 0회인 파일을 먼저 보고하라.
참조가 0회인데 같은 내용이 적혀 있는 곳을 찾아라. 문자열이 같은 것만 찾지 말고, 어휘를 바꿔 같은 내용을 다시 쓴 곳도 규칙 항목별로 대조해서 찾아라.
발견한 것마다
공용 규칙 몇 번 ↔ 어느 파일 몇 행으로 짝을 적어라.판정은 grep·python 출력으로 하고, 검사 중에는 대상 파일을 수정하지 마라. 수정 지시는 따로 목록으로 남겨라.
유사도 임계값을 넘지 않아 자동 검사로 못 잡히는 것이 이 검사의 진짜 대상이다.
③ 새 것을 추가할 때 기존 것도 함께 고치게 하는 프롬프트
[새로 추가한 것]을 추가했다. 기존[함께 쓰는 것]이 이 추가를 반영하고 있는지 양방향으로 검사해줘.
새 쪽이 기존 쪽을 언급·차단한 횟수와, 기존 쪽이 새 쪽을 언급·차단한 횟수를 각각 세서 표로 보여줘.
한쪽이 0이면 비대칭으로 판정하고, 어떤 요청이 들어왔을 때 잘못된 쪽으로 흘러가는지 구체적인 문장 하나로 시나리오를 써라.
기존 쪽 문서에서 이제 거짓이 된 문장을 찾아라. "위험은 두 가지뿐", "이 목록이 전부" 같은 단정 표현을 우선 검사하라.
고칠 위치를 파일·행 단위로 지목해라.
④ 개선 전후 수치를 부풀리지 않게 검증하는 프롬프트
[개선 전후 문서]에 내가 적은 Before 수치를 원본에서 다시 세줘.
Before 수치 하나하나에 대해, 원본의 어느 행이 근거인지 인용해라.
원본에 해당 항목이 있는데 없다고 적은 것을 우선 찾아라. 개선폭이 커 보이는 방향의 오류다.
같은 문서 안에서 같은 사실을 다르게 말한 곳이 있으면 그 모순을 지적해라.
틀린 수치를 찾으면 가설을 최소 3개 세우고 각각 기각·채택 근거를 적어라.
정정 후 값과 정정 이유를 문서에 남겨라. 조용히 숫자만 바꾸지 마라.
로그인하고 댓글을 남겨 주세요
황재준님, 스킬을 무작정 늘리는 대신 중복을 판정해서 경계를 나누고 공용 게이트로 규칙을 일원화하는 설계 방식이 진짜 신선했습니다. 보통은 일단 만들고 보기 바쁜데, grep이나 감사를 돌려 본인이 만든 규칙을 스스로 깼는지까지 실측하며 깎아나가는 집요함에 입이 떡 벌어졌네요. 특히 '수정은 파일 단위가 아니라 규칙 단위로 적용해야 한다'는 진단 부분은 스킬 관리할 때 뼈에 새겨야 할 포인트 같습니다. 복잡한 규칙 템플릿을 관리하는 지속 가능한 접근법에 대해 정말 크게 배우고 갑니다. 👍
감사합니다, 잘 읽었어요! 감사가 돌 때마다 방금 고친 문제가 다른 파일이나 새 문서에서 다시 나타났다는 흐름이 꽤 현실적으로 다가왔습니다. 특히 부분 해소를 통과로 치지 않고, Before 수치까지 원본에서 다시 세어 보신 점이 좋았어요. 규칙을 한곳에 모으는 것만으로 끝나는 게 아니라 새 파일과 기존 파일 모두에 실제로 전파됐는지 봐야 한다는 말도 기억에 남네요. 결국 잘 만들었다는 판단보다, 어디까지 확인했고 아직 뭘 확인하지 못했는지를 정확히 남기는 쪽이 더 믿을 만하다는 생각이 들었습니다.



새로 만들기 전에 기존 것과 겹치는지 확인해 세 종류 중 두 종류의 경계를 다시 나누고, 고쳤다는 말도 명령어로 재측정하신 과정이 좋았어요. 특히 부분 해소를 통과로 세지 않고, 개선 전 수치를 실제보다 나쁘게 적은 오류와 새 파일에서 되살아난 규칙까지 공개한 덕분에 파일 하나를 고치는 것과 규칙이 전체에 전파되는 것이 다르다는 점이 선명해졌습니다.
아직 여섯 스킬을 설치하거나 실제 입력으로 끝까지 실행하지 않았다는 경계도 정확해요. 다음에는 우선순위가 가장 높은 하나만 골라 비식별 입력 한 건으로 산출물과 검수 결과가 끝까지 나오는지 확인하고, 남아 있는 실패가 어느 단계에서 드러나는지 기록해보시면 구조 개선이 실제 결과 품질로 이어지는지 판단하기 좋겠습니다.