말로만 섞던 단어 시험지를 재현 가능한 Hermes Skill로 개선했다
2026.07.28
한 줄 요약
첫 버전의 vocabulary-test-maker를 Hermes의 SKILL.md + templates + references + scripts 구조로 보강했다. 같은 단어 목록과 seed: 23으로 두 번 실행한 결과 SHA-256가 완전히 같았고, 중복·누락 입력은 조용히 통과시키지 않고 partial로 표시했다.
시작 전 상태
기본과제에서 단어 시험지와 정답지를 만드는 Skill은 이미 10문항 검증을 통과했다. 하지만 실제 반복 업무로 쓰기에는 두 가지가 부족했다.
“문항을 섞는다”는 자연어 규칙만 있어 같은 시험지 순서를 다시 재현하기 어려웠다.
입력에 중복 단어나 뜻이 없는 줄이 섞였을 때, 사람이 결과를 다시 읽기 전까지 문제를 놓칠 수 있었다.
따라서 원본을 바로 덮어쓰기보다 v0.1.1 snapshot을 보존하고, Hermes에서 실행 가능한 별도 v1.0.0 candidate로 개선했다.
입력과 맥락
runtime: Hermes Agent v0.19.0 (2026.7.20)
공식 문서:
https://hermes-agent.nousresearch.com/docs/developer-guide/creating-skills원본 권리: 제가 만든 개인 Skill이므로 수정 가능
배포받은 GPTERS 과제 Skill 원본: 수정하지 않음
실험 입력: 사례글 1과 같은 공개 가능한 가상 단어 10개
공식 구조를 확인한 뒤 긴 사용 설명은 references/, 반복 입력 형식은 templates/, 결정적으로 반복할 작업은 scripts/로 분리했다.
내가 직접 내린 판단
이번 개선의 목표를 “더 화려한 시험지”가 아니라 다음 세 가지로 한정했다.
재현성: 같은 입력과 같은 seed이면 완전히 같은 파일
실패 공개: 중복·형식 오류를 임의로 고치지 않고 상태에 표시
승인 경계: 파일 생성까지만 자동, 인쇄·배포는 제 승인 전 미실행
또한 입력 오류가 있어도 유효 문항이 남아 있으면 결과 전체를 버리지 않고 partial로 만들되, 오류 내역을 하단에 남기도록 정했다. 유효 문항이 하나도 없을 때만 blocked로 멈춘다.
만든 것 또는 해본 것
v1.0.0에는 다음 구조를 추가했다.
vocabulary-test-maker/
├─ SKILL.md
├─ templates/
│ └─ vocabulary-list.txt
├─ references/
│ └─ runtime-usage.md
└─ scripts/
└─ generate_vocabulary_test.py실행 스크립트는 다음 일을 한다.
UTF-8 입력에서
영단어 | 한글 뜻쌍을 읽는다.빈 값·형식 오류·중복을 분리한다.
숫자 seed로 단어와 뜻의 쌍을 함께 섞는다.
학생용 시험지와 같은 순서의 정답지를 만든다.
pass / partial / blocked상태와 문제 수를 남긴다.
같은 clean input과 seed: 23으로 결과 파일 A와 B를 각각 생성했다. 이어서 중복 1건, 형식 오류 2건이 포함된 별도 입력도 실행했다.
증거와 관찰
clean input 실행 결과:
status=pass valid=10 issues=0같은 명령을 두 번 실행한 파일의 SHA-256:
A: cfb1fc6846722b5329c6a20606f1adf83fbb29175695dda9760e85f86cecb74f
B: cfb1fc6846722b5329c6a20606f1adf83fbb29175695dda9760e85f86cecb74f두 해시가 같아서, 같은 입력과 seed에서 결과가 바이트 단위로 동일함을 확인했다.
오류 입력 실행 결과:
status=partial valid=2 issues=3
not_checked 형식 오류: 2건
중복 확인 필요: 1건즉 AI가 뜻을 지어내거나 중복을 몰래 삭제하지 않았고, 유효한 2문항만 만들면서 문제가 있는 3줄을 공개했다. 학생용 시험지와 정답지 분리, 외부 배포 전 멈춤도 그대로 유지됐다.
실패·막힘·수정
개선 과정에서 처음 만든 검증 도구가 파일 읽기 결과의 줄 번호 형식을 고려하지 않아 첫 검증이 0문항으로 실패했다. 실제 시험지 문제가 아니라 검증 도구가 입력을 잘못 읽은 문제였다. 줄 번호 접두사를 제거하도록 검증 방식을 수정한 뒤 다시 실행했고, 10/10/10 항목과 1:1 대응을 확인했다.
이 경험에서 생성 결과뿐 아니라 “검증기가 정말 올바른 대상을 보고 있는가”도 확인해야 한다는 점을 배웠다. 검증 실패를 결과 실패로 성급히 단정하지 않고, 가장 먼저 어긋난 지점을 분리해 보는 것이 중요했다.
아직 확인하지 못한 것은 실제 A4 인쇄 시 페이지 배치, 실제 수업 단어장 형식의 다양성, 한글→영어 방향 시험이다. 이 항목들은 not_checked다.
결과와 다음 실험
Before에는 자연어 지시를 따라 한 번 시험지를 만들 수 있었지만, 동일 결과 재현과 오류 입력 처리가 사람의 눈에 의존했다. After에는 같은 입력·seed의 동일 파일을 증거로 남길 수 있고, 중복·누락을 partial 상태로 드러낼 수 있다.
항목 | Before | After |
|---|---|---|
Skill 구조 | SKILL.md 1개 | SKILL.md + template + reference + script |
문항 섞기 | 자연어 지시 | 숫자 seed 기반 결정적 실행 |
재현성 증거 | 없음 | 동일 SHA-256 2건 |
입력 오류 | 사람이 읽어야 발견 | 형식 오류·중복을 partial로 표시 |
외부 행동 | 승인 전 미실행 | 승인 전 미실행 유지 |
다음 실험은 실제 수업용 단어 목록 한 세트를 개인정보 없이 넣어 보고, A4 한 장에 맞는 문항 수와 글자 크기를 정하는 것이다. 그다음에는 한글→영어 방향을 별도 옵션으로 추가하되, 현재 통과한 기본 방향이 망가지지 않는지 같은 입력으로 회귀 검증할 예정이다.
현재 상태
원본 snapshot: 완료
Hermes 공식 구조 확인: 완료
runtime-native candidate: 완료
clean input 2회 실행: pass
동일 해시 재현성: 확인
오류 입력 fail-closed 표시: partial 확인
현재 세션 discovery/readback: 확인
실제 인쇄·배포:
not_checked, 교사 승인 전 미실행
로그인하고 댓글을 남겨 주세요
JoyKim님, 이번 개선에서 가장 오래 남은 장면은 결과 해시보다도 첫 검증의 0문항을 곧바로 시험지 실패로 결론내리지 않은 대목이었어요. 줄 번호 접두사를 읽지 못한 검증기 문제를 분리해 고친 뒤 10/10/10과 1:1 대응을 다시 확인했으니, 생성기뿐 아니라 검증기가 무엇을 보고 있는지도 검증하는 흐름이 완성됐습니다.
v0.1.1 snapshot을 보존하고 v1.0.0 candidate에서 template·reference·script로 역할을 나눈 선택도 이 변화와 잘 맞아요. clean input을 같은 seed로 두 번 실행해 같은 SHA-256을 얻었고, 오류 입력은 유효한 2문항과 문제 3건을 partial로 남겼습니다. 다른 독자도 여기서 ‘재현된다’와 ‘문제를 숨기지 않는다’를 함께 갖춰야 반복 업무를 안심하고 맡길 수 있다는 기준을 가져갈 수 있겠어요.
아직 실제 수업용 단어 목록과 A4 배치는 확인 전이라고 선을 그으셨으니, 다음에는 개인정보가 없는 수업 목록 한 세트를 seed 23으로 두 번 만들고 두 파일의 해시·문항/정답 대응·인쇄 미리보기 한 장만 나란히 읽어보면 충분해 보여요. 이 한 장이 같게 읽힌 뒤에만 한글→영어 옵션을 붙이면, 지금 통과한 기본 방향을 지키면서 다음 확장으로 갈 수 있겠습니다.
와, JoyKim님 seed를 고정해서 바이트 단위(SHA-256)로 결과가 완전히 똑같이 나오는 걸 검증하신 부분은 진짜 생각지도 못했습니다. 보통은 그냥 잘 섞였겠거니 하고 넘어갈 텐데, 재현성을 해시값으로 딱 보여주시니까 신뢰감이 엄청나네요. 오류 입력이 있을 때 몰래 넘기지 않고 partial 상태로 투명하게 보여주는 설계도 정말 꼼꼼하십니다. 글 읽으면서 작동하는 코드를 만드는 것 이상으로 검증 단계가 왜 중요한지 깊이 배우고 갑니다. 👍
단어 시험 만드는 게 정말 귀찮은 반복 업무라서 (통과 못 한 애들 재시험 봐야 하는데, 애들끼리 또 문제를 돌려보니까, 제가 계속 붙들어 놓고 있거나 바빠서 그게 안 될 때는 문제를 수정해서 줘야 해서) 어떻게든 만들어서 실제로 써 보고 싶어서 ㅋ 헤르메스에게 계속 시켜 봤는데~ 헤르메스가 정말 일을 잘 하네요~
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.


전형적인 인문계 성향의 비개발자라서 헤르메스에게 시켜서 만들고는 있지만, 아직 헤르메스가 해 주는 걸 다 이해하지는 못 하고 있어요. 그래도 일단 만들어보고 수정을 계속 해 보고 있어요~ ^^