시도하고자 했던 것과 그 이유
대학교 신입생 입시 업무를 담당하는 교수님과 함께 빠르게 업무 지원 도구(MVP)설계를 목적으로, 사전 설문 2종(총괄책임자용 19문항, 실무담당자용 22문항)을 만들어 둔 상태였습니다. 대학명과 인물은 가렸습니다.
1주차 참고사례를 읽고 보니 이 설문이 “관리가 잘되나요?”를 묻는 평가형이었습니다. 지원서비스를 설계하려면 모집요강·평가표·합격자 명단 같은 자료가 어디서 생겨 어디에 머물다 어디로 가는지를 먼저 알아야 합니다. 전체 흐름을 파악하는파악하기 위해 , 설문 2개와 조사 관리자 가이드 1개로 재 설계했습니다.
진행 방법
지난 강좌에서 받은 프롬프트를 처음에 넣어 설문 2종(v1)을 만들었습니다. 입시 업무를 잘 모르는 상태에서 Claude로 기존 입시행정 사례를 분석하고 결과를 직접 여러 번 검수했습니다. 그 뒤 Claude Code에 재설계를 반복 요청해 v2를 만들었습니다. 재설계 요청은 아래와 같습니다.
대학생 신입생입시 설문지 2개를 좀 더 고도화 하고 싶어. 내용을 전체적으로 분석하고,
입시행정 프로세스에서 개선이 필요한 부분을 검토 시키고, 결과를 참고해서 설문을 지속 고도화했음. 이후 “서면이고 인터뷰도 할 거야”, “학교 행정담당자 수준의 용어를 써” 같은 요청을 이어 갔습니다.
v1을 분석해 보니 문제가 다섯 가지였습니다. 두 설문의 대상이 대학과 대학원으로 달랐고, “모름” 표현도 달랐습니다. 5점 척도로 “명확하다”를 묻는 평가형 문항이 36개였고, 자료 찾는 시간 같은 숫자를 묻는 문항은 없었습니다. 해결책을 흐름보다 먼저 필수로 묻고 있었습니다.
v2에서는 이렇게 바꿨습니다. 대상을 신입생 모집 전체로 통일하고 “모름”은 확인 필요, 내 담당 업무가 아님, 해당 없음 세 가지로 나눴습니다. 평가형 문항은 모두 사실형으로 바꿨습니다. 자료 한 건을 골라 어디서 생겼고 지금 몇 곳에 있는지 묻는 문항(X1~X6)을 새로 넣고, 책임자용과 실무자용에 같은 문장으로 넣어 답을 나란히 비교할 수 있게 했습니다. 해결책 문항은 맨 뒤 선택 문항으로 옮겼습니다.
조사 관리자 가이드는 따로 만들었습니다. 조사는 서면 설문 뒤 후속 인터뷰로 이어집니다. 책임자는 “모집요강 최종본이 입시 시스템에 있고 1분 안에 열 수 있다”고 답하고 실무자는 “4~5곳에 있고 담당자에게 물어본다”고 답할 수 있는데, 이 차이가 설계에서 가장 중요한 정보입니다. 그런데 응답지에는 적을 곳이 없고 서면 응답은 직접 본 것이 아니라 말한 것입니다. 그래서 조사하는 사람이 순서대로 따라 할 운영 가이드를 만들었습니다. 준비, 발송, 점검, 비교, 되묻기, 인터뷰, 보고 순서로 구성하고 단계마다 확인 목록과 바로 쓸 문안을 넣었습니다.
첨부 PDF는 총괄책임자용 설문, 실무담당자 용 설문, 조사 관리자 가이드 순서입니다.
결과와 배운 점
설문 2종(각 29문항)과 조사 관리자 가이드를 만들었고, 평가형 36개 문항이 모두 사실형으로 바뀌었습니다. 아직 시범 발송과 인터뷰는 하지 않아 검증 전입니다.
배운 점은 네 가지입니다. - 문장을 하나씩 고치기보다 “이 설문으로 무엇을 알아내려는가”를 먼저 정해야 합니다. - 평가 질문을 사실 질문으로 바꾸면 답이 구체적이 됩니다. - 같은 개념은 같은 말로 물어야 책임자와 실무자의 답이 비교됩니다. - “모른다”에도 종류가 있습니다. 내 업무가 아니라 모르는 것과 내 업무인데 모르는 것은 다른 정보입니다.
시행착오도 있었습니다. 업무를 모르는 채 AI에게 맡긴 사례 분석은 맞는지 검증할 방법이 없어 직접 여러 번 검수했고, 현업이 직접 답하는 시범 발송으로 검증하기로 했습니다. 문항 수와 표현을 계속 조정했고, 용어가 현업에게 어렵다는 점을 뒤늦게 알아 정본을 공식 최종본으로 바꾸는 등 쉬운 말로 고쳤습니다. 서면과 인터뷰의 범위를 정하느라 가이드도 두 번 고쳤습니다.
