한 번에 50명이 아니라, 한 명씩 검증했다 (2편)
2026.08.11
소개
첫 번째 프로토타입에서 AI 페르소나와 Supabase를 연결한 뒤에는 여러 참가자의 테스트를 반복해서 운영해야 했습니다. 그래서 테스트를 빠르게 끝내는 것보다, 중간에 문제가 생겨도 잘못된 결과가 계속 쌓이지 않는 구조를 만드는 데 집중했습니다.
진행 방법
테스트를 시작할 때 에이전트에게 다음과 같이 요청했습니다.
1명 테스트 시작해줘. 문제 없다면 이후에 한꺼번에 진행 하는거 아니고 5명씩 순차 진행이야.이 요청에서 중요하게 생각한 것은 세 가지였습니다.
1. 첫 번째 참가자를 파일럿으로 진행할 것
2. 나머지 참가자를 동시에 실행하지 않을 것
3. 문제가 발견되면 다음 참가자로 넘어가지 않을 것
오류가 생긴 참가자는 완료로 처리하지 않고 별도로 남겼습니다.
이 상태값 덕분에 중단 후 다시 시작할 때 처음부터 모든 참가자를 재실행하지 않고, 완료되지 않은 참가자부터 이어갈 수 있었습니다.
한 명씩 실행하고, 다섯 명마다 확인했습니다.
실제 테스트는 동시에 여러 명을 실행하지 않고 한 명씩 진행했습니다.
5명 × 10개 배치 = 총 50명각 배치가 끝난 뒤에는 다음 내용을 확인했습니다.
- 다섯 명 모두 완료됐는가
- 참가자 ID가 중복되지 않았는가
- Before와 After 배정이 계획과 일치하는가
- 필수 응답이 모두 저장됐는가
- 점수가 정해진 범위를 벗어나지 않았는가
- 다음 배치를 시작해도 되는가
배치 사이에는 5분의 간격을 두었습니다. 테스트를 동시에 실행하지 않으면서도, 다섯 명마다 상태를 확인할 수 있는 체크포인트를 만든 셈입니다.
다음 중 하나라도 발생하면 테스트를 중단하도록 했습니다.
- 저장 요청 실패
- 저장 후 재조회 실패
- 같은 참가자 ID가 두 번 저장됨
- 필수 응답 누락
- 점수 범위 오류
- 예상하지 못한 화면 이동
- 참가자의 선택과 다음 화면이 맞지 않음
이 규칙 덕분에 기술적으로 저장된 데이터와, 테스트 흐름이 정상적으로 끝난 데이터를 구분할 수 있었습니다.
결과와 배운 점
한 명씩 진행하면 문제가 생긴 범위를 작게 유지할 수 있습니다. 다섯 명씩 묶으면 전체 진행 상황을 매번 확인하지 않아도 적절한 간격으로 점검할 수 있습니다.
또 하나의 팁은 저장 성공이 아니라 재조회 성공을 완료 기준으로 삼는 것입니다.
데이터베이스 요청에 성공했다는 응답만 보고 다음 단계로 넘어가면, 필드가 빠졌거나 잘못된 값이 들어간 문제를 놓칠 수 있습니다. 저장 직후 같은 참가자의 결과를 다시 읽고 원본과 비교하는 과정이 필요했습니다.
앞으로의 계획
3편에서는 다음 내용을 정리할 예정입니다.
- AI 페르소나 테스트에서 실제 사람 테스트로 바꾼 이유
- 로컬 프로토타입을 Vercel에 배포한 과정
- 외부 참가자가 사용할 수 있도록 테스트 흐름을 수정한 방법
- 실제 사용자 응답을 Supabase에 저장하고 분석한 과정



50명을 빨리 끝내는 대신 첫 참가자 한 명을 파일럿으로 삼고, 이후에도 한 명씩 실행한 선택이 이 실험의 중심이네요. 완료 여부·ID 중복·Before/After 배정·필수 응답·점수 범위를 다섯 명마다 확인하고, 이상이 하나라도 나오면 다음 배치를 시작하지 않게 했습니다.
저장 요청의 성공이 아니라 같은 참가자 결과를 다시 읽어 원본과 맞는지 확인해야 완료라는 구분도 중요했어요. 오류 참가자를 별도 상태로 남겨 중단 뒤 미완료 지점부터 이어가게 했기 때문에, 데이터베이스에 들어간 행과 정상 흐름을 마친 테스트를 같은 것으로 취급하지 않았습니다.
1편의 로컬 프로토타입·AI 페르소나·Supabase 연결에서 이번 배치 운영으로 넘어온 흐름이 자연스럽습니다. 3편에서 실제 사람 테스트와 Vercel 배포를 다루겠다는 예고는 AI 페르소나 결과의 범위를 어디까지로 볼지 다음 관찰 장면을 분명히 해요.
속도보다 오류가 퍼지는 범위를 작게 유지한 운영 선택이 좋았습니다. 한 명의 재조회와 다섯 명의 체크포인트를 결합한 기록이 반복 테스트의 신뢰를 차분히 쌓았어요.