스킬 승격 게이트 구조화 — clear/weak/fail 루브릭, fresh/resume 분리 검증, 이종 모델 교차 검토
2026.07.26
시도하고자 했던 것
스킬을 만드는 건 쉬워졌는데, 문제는 그다음이었습니다. 만든 스킬을 크론(정기 실행)에 올릴지 말지를 "두세 번 돌려봤는데 잘 되는 것 같다"로 결정하고 있었습니다. 이 기준의 문제는 명확합니다 — 잘 된 두세 번이 우연인지, 어떤 조건에서 깨지는지 아무도 모릅니다. 그래서 스킬이 정식 승격되려면 통과해야 하는 게이트를 문서로 박았습니다.
왜 했는가
계기는 에이전트하네스 스터디장님의 도도치 사례글이었습니다. 장난으로 시작한 애교 스킬 하나를 루브릭과 다층 검증으로 v1.2.1까지 끌고 가는 걸 보고, 제 스킬들이 전부 "v0.1에서 멈춘 채 운영 중"이라는 걸 인정하게 됐습니다. 특히 "규칙이 문서에 존재하는 것과 그 규칙이 실제로 좋은 출력을 만드는 것은 다르다"는 문장이 아팠습니다.
진행 방법 — 게이트 3조건
승격 게이트 문서에 넣은 조건은 세 개입니다. 1) 루브릭 통과 — 합산 점수 금지 스킬마다 완료 기준을 항목별 clear / weak / fail 표로 만듭니다. "8점 이상 통과" 같은 총점은 안 씁니다 — 평균이 중요한 실패를 덮기 때문입니다. 필수 항목(예: 출력 계약 준수)은 하드 게이트로 분리해서, 여기서 fail이면 나머지가 아무리 좋아도 통과가 아닙니다. 판정에는 반드시 실제 출력에서 뽑은 문장 증거를 붙입니다. 2) fresh와 resume 양쪽에서 통과 새 세션(fresh)에서의 기본 품질과, 이전 출력이 문맥에 있는 세션(resume)에서의 반복 내성은 다른 시험입니다. fresh에서 비교 대상이 없으면 "반복 없음" 항목은 통과가 아니라 not_checked로 남깁니다. 한쪽만 통과한 스킬은 승격 불가. 3) 이종 모델 교차 검토 스킬을 만든 모델이 자기 스킬을 채점하면 자기채점입니다. 다른 벤더 모델(저희는 Claude 계열과 Codex 계열을 서로 교차)에게 스킬 diff와 출력을 검토시켜서, 같은 사각지대를 공유하지 않는 눈을 하나 더 답니다.
결과와 배운 점
결과
크론 승격 조건이 "2~3회 성공"에서 "fresh+resume 루브릭 통과"로 교체됐습니다. 첫 적용으로 상시 운용 스킬 1개에 루브릭을 만들어 저장소에 커밋했습니다. 다음 개선 사이클부터는 "잘 되는 것 같다" 대신 이 표로 판정합니다. 기준의 구멍 발견이었습니다.
시행착오
만들어놓고 실행 0회인 점검 도구가 저희 환경에 실제로 있습니다. 문서만 있으면 아무 일도 안 일어납니다. 세션 시작마다 리마인드하는 훅까지 달았는데도 아직 첫 실행 전입니다. "설치"와 "가동"은 다릅니다. 루브릭 항목이 애매하면 채점이 불가능합니다. 판정이 흔들리는 항목은 억지로 3진 판정하지 말고 항목을 더 쪼개는 게 답이었습니다. 검증 도구도 틀립니다. 참고한 사례글에서는 독립 검토자가 스킬이 아니라 검증 스크립트의 결함 4건을 찾아냈습니다. 저는 아직 이 층(검증기의 재검증)이 없어서 다음 단계로 남겨뒀습니다.
꿀팁
루브릭 항목 추가는 일부러 먼저 실패시키는 순서로: 새 항목을 넣고 기존 스킬이 RED가 되는 걸 확인한 뒤 고칩니다. 처음부터 GREEN이면 그 항목은 아무것도 검사하지 않는 겁니다. 재현이 불안정한 결함은 결론을 "간헐적"으로 약하게 적는 것도 검증의 일부입니다. 과장된 확정이 제일 나쁩니다.
도움이 필요한 부분
루브릭 채점을 매번 수동으로 하고 있습니다. 채점 자체를 스킬화하되 자기채점이 안 되게 하는 구조(채점 스킬은 다른 모델만 실행?)를 어떻게 짜는 게 좋을까요?
도움 받은 글
도도치 이야기 002 — 루브릭·하드 게이트·fresh/resume 분리·검증 도구 재검증의 원형 작은 스킬이 하네스가 되는 순간 — "끝났다고 판단하는 기준"을 스킬 안에 넣는 원칙
로그인하고 댓글을 남겨 주세요
재현이 불안정한 결함을 억지로 확정하지 않고 ‘간헐적’이라고 약하게 기록하는 것까지 검증의 일부로 포함하신 점이 특히 인상적이었습니다. 또 판정이 흔들리는 루브릭 항목을 그대로 두지 않고 더 작은 기준으로 쪼개 채점 가능하게 만든 과정에서, 좋은 기준을 만드는 데 그치지 않고 실제 운영 가능한 수준까지 다듬으신 노력이 느껴졌어요. 상시 운용 스킬에 직접 루브릭을 적용해 저장소에 커밋하며 승격 기준을 실제 흐름으로 옮기신 점도 정말 탄탄합니다.
두세 번 잘 됐다는 느낌을 승격 기준으로 삼지 않고, clear·weak·fail과 하드 게이트로 바꾸신 판단이 좋았어요. 합산 점수가 중요한 실패를 가리지 못하게 하고, 판정마다 실제 출력 문장을 붙이며 fresh와 resume를 별도 시험한 덕분에 무엇을 확인했고 무엇을 아직 확인하지 못했는지가 선명해졌습니다. 특히 비교 대상이 없는 항목을 억지로 통과시키지 않고 not_checked로 남기는 태도가 검증의 신뢰를 높여줍니다.
점검 도구가 아직 실행 0회이고 검증기의 재검증 층도 없다는 사실까지 적어주셔서 설치와 가동의 차이가 더 설득력 있게 다가왔어요. 채점 자동화를 발전시키더라도 대상 스킬의 출력 증거, 고정된 테스트 입력, 모델 간 판정 불일치 기록을 분리해 남기면 자기채점 위험을 더 잘 드러낼 수 있을 것 같습니다.



다른 모델만 채점하게 하면 자기채점 위험은 줄지만, 그것만으로 독립 평가가 되지는 않아요. 만든 모델의 해설·자기점수·이전 대화가 평가자에게 같이 넘어가면 다른 벤더도 같은 프레임을 따라갈 수 있기 때문입니다. 독립성의 핵심은 모델 이름보다 채점 입력과 권한을 분리하는 데 있습니다.
구조는 ① 후보 스킬과 테스트 입력을 동결하는 실행 담당 ② 파일·형식·금지 규칙처럼 답이 결정적인 항목을 검사하는 스크립트 ③ 작성 과정은 보지 않고 동결된 루브릭·입력·원출력만 각각 받는 의미 평가자 2명 ④ 평가 불일치와 `not_checked`만 확인하는 사람 승인 게이트로 나누는 편이 맞습니다. 채점 스킬은 후보 스킬을 수정하거나 승격 상태를 바꾸지 않고, 항목별 `clear/weak/fail/not_checked`, 근거 위치, 재현 조건만 구조화해 반환합니다. 다른 모델 사용은 이 네 층 가운데 의미 평가자의 상관된 오류를 줄이는 장치이지, 승격 권한 자체를 넘기는 장치는 아닙니다.
실행 흐름은 `candidate → frozen evaluation packet → fresh/resume 실행 → 결정적 검사 → 독립 의미 채점 2회 → 불일치·미확인 검토 → 사람 승인 → cron 승격`으로 두고, 중간 산출물과 해시를 남기면 됩니다. 평가자가 루브릭이나 테스트 입력을 실행 중 고치지 못하게 하고, 기존 결과를 보고 만든 문항과 별도의 보류 문항을 분리하면 채점 스킬이 자기 시험지를 자기에게 맞추는 문제도 줄일 수 있어요.
아래처럼 현재 저장소를 먼저 읽기 전용으로 조사하게 하면, 환경을 추측하지 않고 구현 초안을 받을 수 있습니다.
> 지금은 파일·설정·크론을 변경하지 말고 읽기 전용으로만 조사해줘. 현재 후보 스킬, 루브릭, fresh/resume 테스트 입력, 검증 스크립트, 크론 승격 경로와 각 단계의 쓰기 권한을 실행 증거로 정리해줘. 그다음 작성자 맥락을 받지 않는 독립 채점 구조를 설계해줘. 평가 패킷에는 동결된 스킬 버전·루브릭·테스트 입력·원출력·해시만 넣고, 결정적 검사는 스크립트가, 의미 평가는 서로 결과를 보지 않는 평가자 2명이 맡게 해줘. 채점 결과는 항목별 clear/weak/fail/not_checked, 근거 위치, 재현 조건, 평가자 불일치를 JSON으로 반환하고, 채점 스킬에는 후보 수정·승격·크론 변경 권한을 주지 마. fresh와 resume, 공개 문항과 보류 문항을 분리하고, 불일치나 not_checked가 있으면 사람 승인에서 멈추게 해줘. 현재 구조도, 목표 구조도, 필요한 파일과 인터페이스, 단계별 구현안, 실패 시 rollback, 합성 후보 스킬로 검증할 테스트 표를 제시한 뒤 실제 적용 전 대기해줘.