소개
프로토타입을 만든 뒤 화면만 확인하는 데서 끝내지 않고, 테스트 결과를 데이터로 남겨 다음 의사결정에 활용하고 싶었습니다.
첫 번째 프로토타입에서는 AI 페르소나를 활용해 테스트하고 결과를 Supabase에 저장했습니다. 두 번째 프로토타입에서는 실제 사람이 참여할 수 있도록 테스트를 다시 설계하고, Vercel에 배포해 운영 환경까지 확장했습니다.
이 번 사례글에서는 지금까지 해온 내용을 순서대로 되짚으며, 두 번의 반복 경험이 어떻게 에이전트의 공통 절차와 스킬로 발전했는지를 총 5편에 나누어 기록할 것입니다.
첫 번째 글은 그 시작점인 로컬 프로토타입, AI 페르소나, Supabase를 하나의 테스트 흐름으로 연결한 과정입니다.
사용 도구
- Hermes Agent: 프로젝트 문서 확인, 테스트 구조 설계, 오류 진단과 결과 검증
- Next.js: Before와 After 프로토타입 실행
- Supabase: 참가자별 점수, 정성 의견, 단계별 응답 저장
진행 방법
처음 구상한 흐름은 단순했습니다.
로컬 프로토타입 실행
→ AI 페르소나 테스트
→ 참가자별 결과 저장
→ Supabase 저장값 재확인
→ 대시보드에서 결과 비교반복 테스트를 어떤 구조로 만들지 고민하면서는 다음과 같이 요청했습니다.
반복하고 싶은 업무가 있어.
현재 테스트할 프로토타입이 있는 상태이고 이후 50명을 순차적으로 테스트할 예정이야.
- 로컬에서 프로토타입 테스트(예를 들면, 기존 페이지 25명 와 신규 기능이 있는 페이지 25명, 미리 세팅한 페르소나 50명이 정량적 점수와 정성 의견, 씽크얼라우드에 대한 데이터를 저장)
- 저장된 데이터 기반으로 대시보드로 시각화 후 인사이트 도출이 프롬프트를 바탕으로 에이전트와 함께 다음 기준을 구체화했습니다.
1. 테스트 조건을 Before와 After로 나눕니다.
2. 참가자 특성이 한쪽에 치우치지 않도록 균형 있게 배정합니다.
3. 첫 번째 참가자를 파일럿으로 실행합니다.
4. 한 사람의 결과가 정상적으로 저장됐는지 확인한 뒤 다음 사람으로 넘어갑니다.
5. 저장이나 화면 흐름에 문제가 생기면 전체 테스트를 중단합니다.
6. Supabase에 저장된 값을 다시 조회해 누락과 중복을 확인합니다.
7. 완료된 데이터만 대시보드에 반영합니다.
결과와 배운 점
가장 먼저 배운 점은 많은 참가자를 실행하는 것보다 한 명의 결과를 끝까지 검증하는 일이 먼저라는 점입니다.
첫 번째 참가자를 파일럿으로 실행하며 다음 항목을 확인했습니다.
- 프로토타입이 의도한 순서대로 작동하는가
- 필수 응답이 모두 생성되는가
- Supabase에 한 건만 저장되는가
- 저장된 값을 다시 조회할 수 있는가
- 점수와 선택지가 정해진 범위를 벗어나지 않는가
- API 키나 개인정보가 로그에 노출되지 않는가이 과정을 통과한 뒤에야 나머지 테스트를 순차적으로 진행했습니다. 한 명씩 저장하고 재확인했기 때문에 오류가 생겨도 영향을 받은 범위를 바로 찾을 수 있었습니다.
앞으로의 계획
다음 글에서는 이 흐름을 반복해서 실행하기 위해 다음 기준을 어떻게 정했는지 정리할 예정입니다.
- Before와 After의 균형 배정
- 파일럿 검증
- 한 명씩 순차 실행
- 중단과 재개 기준
- Supabase 저장 후 재조회
- AI 페르소나 결과를 해석하는 범위
도움 받은 글 (옵션)
Supabase 공식 문서, Next.js 공식 문서
