단어 목록을 넣으면 시험지와 정답지가 나오는 첫 Skill을 만들었다
2026.07.28
한 줄 요약
영어 강사로서 반복하던 단어 시험지 만들기를 vocabulary-test-maker Skill로 정리하고, 공개 가능한 10개 단어로 학생용 시험지와 교사용 정답지를 실제 생성했다. 첫 실행은 검증을 통과했지만, 문항 순서를 다시 재현할 기준이 없다는 문제를 찾아 seed 규칙을 한 줄 보강했다.
시작 전 상태
수업 전에 단어 목록을 보고 문제 번호를 붙이고, 답안선을 만들고, 다시 정답지를 따로 만드는 일을 반복했다. 작업 자체는 어렵지 않지만 매번 형식을 다시 설명해야 했고, 문제 순서를 바꾼 뒤 정답 순서가 맞는지도 눈으로 확인해야 했다.
첫 스터디에서 제가 만들고 싶다고 말한 것도 “단어장을 넣으면 단어 시험지를 만들어 주는 Skill”이었다. 범위를 크게 잡지 않고 이번에는 영단어를 보고 한글 뜻을 쓰는 주관식 시험지 1종으로 한정했다.
입력과 맥락
실제 학생 정보나 학원 내부 단어장은 넣지 않았다. 아래처럼 공개 가능한 가상 단어 10개를 사용했다.
achieve | 성취하다
ancient | 고대의
benefit | 이익, 혜택
compare | 비교하다
decide | 결정하다
effort | 노력
familiar | 익숙한
gather | 모으다
improve | 향상시키다
journey | 여행첫 실험의 임시 기본값은 다음과 같이 두었다.
방향: 영단어 → 한글 뜻
형식: 주관식
배점: 각 10점
결과물: 학생용 시험지 + 별도 정답지
인쇄·배포: 제 확인 전에는 실행하지 않기
내가 직접 내린 판단
가장 중요한 판단은 “완벽한 시험지 제작 시스템”이 아니라 한 번에 확인 가능한 작은 업무부터 Skill로 만드는 것이었다.
또한 생성과 외부 행동을 분리했다. Skill은 시험지 초안까지만 만들고, 실제 인쇄·학생 배포는 반드시 제가 확인한 뒤 하도록 멈춤 지점을 넣었다. 뜻이 없거나 중복된 단어를 AI가 알아서 고치지 않고 not_checked 또는 [중복 확인 필요]로 남기게 했다.
만든 것 또는 해본 것
Skill에는 다음 7개 필드를 넣었다.
Use when: 영단어와 뜻 목록으로 시험지·정답지가 필요할 때
Input: 제목과
영단어 | 한글 뜻목록Judgment: 빈 줄 제외, 중복은 임의 삭제 금지, 뜻 누락은 추측 금지
Steps: 입력 분리 → 조건 확인 → 순서 섞기 → 시험지 → 정답지 → 검증
Output: 학생용 문제지와 페이지 구분 뒤 교사용 정답지
Verification: 문항 수, 입력 단어, 정답 대응, 정답 노출 여부 확인
Failure repair: 유효 입력이 없으면 blocked, 일부 오류는 partial/not_checked
실제로 Skill을 적용해 10문항 시험지를 한 번 생성했다. 학생용 부분에는 영단어와 답안선만 넣고, 구분선 뒤에 같은 순서의 정답지를 만들었다.
증거와 관찰
검증 결과는 다음과 같았다.
source_items: 10
question_items: 10
answer_items: 10
unique_questions: true
all_questions_from_input: true
answers_match_input: true
question_answer_order_match: true
answers_hidden_in_student_section: true
status: pass잘 된 점은 문제지와 정답지의 번호·단어·뜻이 1:1로 맞았고, 학생용 구역에 정답이 노출되지 않았다는 것이다.
하지만 실행 후 새로운 빈칸이 보였다. 섞기: 예라고만 적으면 다음에 같은 목록을 다시 돌렸을 때 같은 문항 순서를 재현할 방법이 없었다. 첫 실행은 성공했지만, 다음 버전과 공정하게 비교하거나 같은 시험지를 다시 만드는 데는 부족했다.
실패·막힘·수정
큰 기능을 더 붙이는 대신 가장 작은 수리 하나만 했다.
수정 전: “섞기가 요청되면 문항 순서를 한 번 섞는다.”
수정 후: 선택 입력에 숫자
seed를 추가하고, 같은 seed이면 같은 순서를 재현하도록 규칙을 보강했다.
seed: 23으로 다시 실행했을 때도 10문항·정답 대응·정답 비노출 검증이 모두 통과했다. 아직 이 단계에서는 실제 인쇄 품질과 실제 수업 단어장 적용은 not_checked로 남겼다.
결과와 다음 실험
이번 실험으로 단순한 프롬프트가 아니라 시작 조건, 입력, 판단, 출력, 완료 기준, 실패 처리, 사람 승인 지점을 가진 첫 Skill을 만들었다. 특히 “AI가 결과를 냈다”와 “같은 입력으로 다시 확인할 수 있다”는 서로 다른 문제라는 점을 알게 됐다.
다음 실험은 이 Skill을 Hermes의 scripts/, templates/, references/ 구조로 보강해, 사람이 매번 문항을 손으로 맞춰 보지 않아도 같은 입력과 seed에서 같은 결과가 나오는지 자동으로 확인하는 것이다.
현재 상태
Skill 생성: 완료
안전한 가상 입력 10개 실행: 완료
첫 실행 검증: pass
최소 수정 후 재실행: pass
실제 학생용 단어장 적용:
not_checked실제 인쇄·배포: 교사 승인 전 미실행
로그인하고 댓글을 남겨 주세요
JoyKim님, 반복하던 단어 시험지 업무를 영단어→한글 뜻 10문항으로 좁히고, 학생용 문제지와 정답지의 문항 수·순서·뜻 대응·정답 비노출을 실제 실행 결과로 남긴 점이 참 단단했어요. 완벽한 제작기를 먼저 만들기보다 한 번에 확인 가능한 범위를 정한 덕분에 무엇이 완료이고 무엇이 아직 아닌지가 선명합니다.
첫 실행이 pass였는데도 ‘섞기’만으로는 같은 시험지를 다시 만들 수 없다는 빈칸을 발견하고 seed를 더한 흐름도 좋았습니다. 이 변화는 기능을 하나 늘린 것보다, 다음 버전을 같은 조건에서 비교할 수 있게 만든 데 의미가 있어요. 뜻 누락과 중복을 추측으로 메우지 않고 교사 승인 전에 배포를 멈춘 경계까지 함께 있어, 다른 강사도 결과를 믿고 검수하는 방법을 가져갈 수 있겠어요.
이 부분은 아직 첫 확인이 남아 있어요. 다음에는 개인 정보가 없는 실제 수업용 단어 목록 하나를 같은 seed로 두 번 생성해 문항 순서·정답 대응·페이지 구분이 똑같이 읽히는지만 먼저 확인하면 좋겠습니다. 그 readback이 같고 인쇄 미리보기까지 깨지지 않으면, 가상 단어에서 통과한 첫 Skill이 실제 수업 전 검수 장면으로 자연스럽게 이어질 것 같아요.
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.


조언해 주신대로 한 번 더 시도해 볼께요~ 우리 스터디장님 늘 많이 도와주시고, 좋은 자료 많이 주셔서 정말 감사해요~