본문으로 건너뛰기

테스트가 통과해도 끝은 아니었다 — 혜택체크를 토스 앱에서 켜보다

김두휘

2026.10.22

테스트가 통과해도 끝은 아니었다 — 혜택체크를 토스 앱에서 켜보다 본문 이미지

소개

미션 목록은 비어 있는데, 앱은 이렇게 말했습니다.

미션을 수정했어요. 참여 기록은 그대로예요.

수정하던 미션을 이미 삭제한 뒤였습니다. 저장 데이터에도 미션이 없었지만, 화면에는 수정에 성공했다는 안내가 나타났습니다.

제작 측의 기본 검사는 통과한 상태였습니다. 그런데 별도 검수에서 버튼을 누르는 순서를 바꾸자, ‘성공하면 안 되는 성공’이 나왔습니다.

혜택체크는 내가 참여하는 리워드 미션의 마감과 참여·수령 기록을 관리하는 작은 앱입니다. 지난번에는 미션 이름과 종료일을 바꿔도 참여 기록이 유지되도록 수정 기능을 붙였습니다.

이번에는 기능을 더 늘리는 대신, 한 걸음 물러나 확인해 보기로 했습니다.

“실제로 써보면 무엇이 불편할까? 앱이 알려주는 결과는 정말 맞을까?”

AI의 제작·검수 역할을 나누고, 디자인 리포트의 완료 피드백을 적용하고, 토스 앱에서도 직접 열어봤습니다. 그 과정에서 정상 작동과 정확한 안내, 그리고 사용하기 편한 화면은 각각 확인해야 하는 문제라는 것을 배웠습니다.

진행 방법

1. 먼저, 만드는 AI와 확인하는 AI를 나눴습니다

Hermes Agent에서 프로젝트용 제작·검수 지침을 따로 만들고, 서로 다른 작업으로 호출했습니다.

제작 작업에는 코드를 고치고 실행 근거를 남기도록 했습니다. 검수 작업에는 코드를 직접 수정하지 않고, 변경된 소스와 저장 데이터, 실제 화면을 대조하도록 했습니다.

검수 지침에는 다음 문장을 넣었습니다.

코드를 고치지 않는다. 제작자의 ‘완료’를 복사하지 않고 변경 소스·기준선·실제 로그·필요한 재실행 결과를 대조한다.

중요한 것은 역할 이름을 나누는 것보다 제작자의 ‘완료’를 별도의 확인 과정에 통과시키는 것이었습니다. 실제로 검수에서 문제를 찾고, 제작 작업에서 수정한 뒤 다시 검수하는 단계까지 진행했습니다.

이 역할 분리는 이번 앱 프로젝트 안에서 적용한 방식입니다. 회사의 운영 봇이나 전역 권한을 변경한 것은 아닙니다.

2. 저장이 끝났다면, 앱도 그 사실을 알려주도록 했습니다

처음 손본 것은 저장 후 안내였습니다.

변경 전에도 수정한 값과 참여 이력은 저장됐습니다. 다만 저장이 끝난 뒤 별도의 완료 안내가 없었습니다. 결과를 화면에서 더 분명하게 알려주고 싶었습니다.

공유받은 『앱 디자인 리포트 #5』의 5쪽 ‘완료 피드백’을 참고해, 실제 저장이 성공한 뒤에만 다음 문구가 나타나도록 했습니다.

  • 수정 저장: “미션을 수정했어요. 참여 기록은 그대로예요.”

  • 오늘 참여: “오늘 참여를 기록했어요. 보상 수령은 따로 확인해 주세요.”

문구는 리포트 원문을 옮긴 것이 아니라 혜택체크에 맞게 만들었습니다.

특히 오늘 참여했다는 기록과 보상을 실제로 받았다는 기록은 구분하고 싶었습니다. 참여 버튼을 눌렀다는 이유만으로 보상까지 받은 것처럼 안내해서는 안 되기 때문입니다. 오류가 발생하면 이전에 표시했던 성공 문구도 지우도록 했습니다.

로컬 브라우저에서 가상 데이터로 실행한 실제 화면 일부입니다. 저장 후 안내뿐 아니라 카드의 수정값과 참여 이력도 함께 확인했습니다.

여기까지만 보면 저장 후 안내를 추가한 작은 개선이었습니다. 그런데 별도 검수에서, 언제 성공이라고 말해도 되는지를 다시 확인하게 되는 문제가 나왔습니다.

3. 삭제한 미션을 “수정했어요”라고 했습니다

문제를 재현한 순서는 다음과 같았습니다.

  1. 미션 수정을 누릅니다.

  2. 새 이름과 종료일을 입력합니다.

  3. 수정 중인 바로 그 미션을 삭제합니다.

  4. 남아 있는 수정 폼에서 저장을 누릅니다.

저장 데이터에는 미션이 없었고, 화면의 목록도 비어 있었습니다. 그런데 앱은 “미션을 수정했어요. 참여 기록은 그대로예요.”라고 안내하며 입력까지 지웠습니다.

수정할 대상이 사라졌는데도 성공한 것처럼 처리한 것입니다.

문제는 안내 문구 자체가 아니었습니다. 미션을 삭제한 뒤에도 편집 상태가 남아 있었고, 없는 대상을 수정하는 작업이 저장 성공처럼 처리되는 흐름이 문제였습니다.

수정 범위는 작게 잡았습니다. 수정 중인 바로 그 미션이 실제로 삭제된 경우에만 편집을 종료하고, 다음처럼 안내하도록 바꿨습니다.

미션을 삭제했어요. 수정 중인 입력도 종료했어요.

반대로 삭제를 취소하거나 저장에 실패하면 원본과 입력을 유지하도록 했습니다. 다른 미션을 삭제할 때는 현재 편집 중인 입력을 건드리지 않도록 확인했습니다.

한국어 버전 앱 스크린샷

왼쪽은 빈 목록인데 수정 성공을 안내하던 실제 오류, 오른쪽은 삭제와 편집 종료를 정확히 안내하는 수정 후 화면입니다. 실제 앱 화면을 발췌해 나란히 배치했습니다.

수정 전에는 실패 로그를 남겼습니다. 수정 후에는 같은 상황을 다시 실행하고, 취소·쓰기 실패·재시도도 함께 검사했습니다. 별도 재검수에서도 수정된 동작을 확인했습니다.

저장소 오류를 주입하는 검사도 진행했습니다. 기록을 읽지 못했을 때 이를 빈 목록처럼 보여주거나 원본을 덮어쓰지 않도록 했고, 쓰기에 실패하면 입력을 남겨 재시도할 수 있도록 했습니다. 실제 휴대폰에서 발생한 고장이 아니라, 실패 상황을 의도적으로 만든 장애 시뮬레이션입니다.

완료 안내를 붙이며 시작한 작업이었지만, 결국 확인한 것은 문구보다 그 문구가 나타나는 조건이었습니다.

4. 로컬 검사를 마치고, 토스 앱에서 직접 켜봤습니다

다음에는 로컬 브라우저 밖으로 나가보기로 했습니다.

콘솔에 혜택체크 앱과 검증한 테스트 번들을 등록했습니다. 서버 빌드가 끝난 뒤에는 폰 실행용 QR을 이용해 토스 앱에서 직접 열었습니다. 정식 출시나 심사 요청을 진행한 것은 아닙니다.

폰에서 첫 화면이 오류 없이 열렸습니다. 가상 미션의 ‘오늘 완료’, ‘참여 기록 1일’, 펼친 참여 날짜가 표시되는 것까지 직접 확인했습니다.

한국 앱 스크린샷

휴대폰에서 직접 실행한 테스트 화면입니다. 가상 미션의 참여 기록과 날짜가 보이며, 상하단 일부만 잘랐습니다. 자동 보상 지급이나 앱을 닫고 다시 연 뒤의 장기 보존까지 입증하는 화면은 아닙니다.

토스 앱 안에서 화면이 열리는 것을 확인했지만, 이것을 모든 기능의 실기기 검증으로 묶지는 않기로 했습니다.

AI가 실행한 로컬 브라우저 검사와 제가 직접 본 폰 화면은 서로 다른 증거이기 때문입니다. 로컬에서 수정·수령·삭제 흐름을 검사했더라도, 폰에서 그 기능들을 모두 확인했다고 쓸 수는 없었습니다.

5. 폰에서 열리고 나니, 이번에는 ‘50개’가 궁금해졌습니다

앱이 폰에서 잘 열리는 것을 보고 나니 다른 질문이 생겼습니다.

앞으로 참여 미션이 50개 이상이 될 수도 있는데, 이 UI가 맞을까?

미션이 적을 때는 등록 폼과 큰 카드가 있는 화면으로도 기능을 확인할 수 있었습니다. 하지만 관리할 미션이 많아지면 이야기가 달라질 것 같았습니다.

AI에게 현재 코드는 바꾸지 말고, 가상 미션 50개를 넣어 확인해 달라고 했습니다.

결과는 뜻밖이었습니다.

390×844 크기의 로컬 화면에 미션 50개가 렌더됐지만, 첫 화면에 보이는 미션은 0개였습니다.

위쪽 등록 폼이 공간을 차지하고 있어, 첫 번째 미션도 화면 아래로 내려가야 볼 수 있었습니다.

한국 결제 페이지 스크린샷

격리된 로컬 브라우저에 가상 미션 50개를 넣어 관찰한 기존 UI입니다. 실제 폰에 50개를 등록한 화면이나 UI 개편 후의 결과가 아닙니다.

목록으로 내려가도 큰 카드마다 수정·체크·수령·삭제가 반복됐습니다.

그제야 미션 하나의 기능을 확인하기 좋은 화면과, 여러 미션을 매일 관리하기 좋은 화면은 달라야 한다는 생각이 들었습니다. 등록할 수 있고, 수정할 수 있고, 참여를 기록할 수 있다는 사실만으로 매일 쓰기 편한 앱이 되는 것은 아니었습니다.

다음 개선 방향은 목록 우선 홈, 필요할 때 여는 등록 폼, 검색·상태 필터, 간결한 미션 목록으로 잡았습니다.

이 UI 개편은 별도 작업으로 진행 중입니다. 이번 글에서 구현과 검증을 마친 결과에는 포함하지 않았습니다.

결과와 배운 점

이번에는 제작·검수 역할을 실제로 나누고, 완료 피드백을 적용했습니다. 그 과정에서 발견한 허위 성공 안내를 수정하고 재검수까지 진행했습니다.

확인한 환경과 결과를 구분하면 다음과 같습니다.

확인한 범위

확인한 내용

폰에 올린 버전의 로컬 검증

단위 테스트 37개, 타입 검사, 기본 린트, 빌드를 통과했습니다. 신규 등록부터 참여·수정·수령·재실행·삭제 흐름도 로컬 자동화로 검사했습니다.

실제 토스 앱 실행

테스트 버전을 직접 열어 첫 화면과 가상 미션의 참여 기록·날짜 표시를 확인했습니다.

가상 미션 50개로 기존 UI 관찰

로컬 화면에서 첫 목록 항목이 보이지 않는 문제를 확인하고, 다음 UI 개선 방향을 정했습니다.

가장 크게 배운 것은 확인의 단계를 섞지 않는 일이었습니다.

“작동한다”, “테스트를 통과했다”, “실제 폰에서 확인했다”, “많은 미션을 관리하기 편하다”는 서로 다른 말이었습니다.

테스트를 통과했어도 버튼을 다른 순서로 누르면 잘못된 안내가 나올 수 있었습니다. 폰에서 화면이 정상적으로 열려도, 미션이 많아졌을 때 사용하기 편한지는 따로 살펴봐야 했습니다.

이번에는 그 차이를 막연한 느낌이 아니라 화면과 저장 데이터로 확인할 수 있었습니다.

물론 남은 과제도 있습니다. 저장소 전체 읽기를 막는 극단 조건에서는 앱의 원본 보호가 동작했지만 개발 도구 오류 1건이 남았고, 빌드의 큰 번들 경고도 남아 있습니다. 실제 스크린리더, 폰에서의 전체 기능과 재실행 후 기록 유지, 다른 기기 동기화는 확인하지 않았습니다.

사용자 로그인·외부 서버 동기화·정식 출시, 다른 스터디원 앱의 실사용·공개 리뷰도 이번에 마친 범위는 아닙니다. 진행 중인 목록 UI 개편 역시 완료한 일에 합치지 않고 다음 검증 대상으로 남겼습니다.

다음에는 바뀐 목록 화면이 정말 많은 미션을 관리하기 편한지 확인하려고 합니다. 이번처럼, 구현했다는 사실과 사용하기 좋아졌다는 판단을 구분해서 살펴볼 생각입니다.

테스트가 끝났다는 것이, 확인할 일이 끝났다는 뜻은 아니었습니다.

도움 받은 글

  • 24기 토스미니앱 3주차 강의: 제작·검수 역할 분리 실습을 참고했습니다.

  • 『앱 디자인 리포트 #5』: 5쪽 ‘완료 피드백’을 적용했고, 4쪽 빈 화면 안내는 보조 기준으로 참고했습니다.

  • 『앱 디자인 리포트 #7』: 검색·선택 칩을 다음 UI 개편의 참고 대상으로 골랐습니다. 이번 글의 적용 완료 항목은 아닙니다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기