본문으로 건너뛰기

테스트 통과 ≠ 실제 사용자 만족, 'your turn to check' skill 제작기

강희주

2026.08.15

😊 목차

  1. AI가 성공했다는데, 결과는 없었습니다

  2. 성공을 의심하는 대신 어디까지 성공했는지 보기

  3. 그런데 이 스킬도 확인을 떠넘겼습니다

  4. 지금 어디까지 믿을 수 있나


1. AI가 성공했다는데, 결과는 없었습니다

지난 목요일 스터디에서 서로 다른 두 사례글 발표를 들었습니다.

체크냥 님의 자동화는 91번 실행되어 91번 모두 정상 종료했습니다. 그런데 실제로 옮긴 파일은 0개였습니다. 온어닷 님의 서버에서는 워치독이 계속 초록불이었지만, 봇의 세션 기록과 지식 수집은 3일간 실패하고 있었습니다.

로그가 거짓말을 한 것은 아니었습니다. 자동화는 오류 없이 끝났고 프로세스도 살아 있었습니다. 다만 사용자가 기다리던 결과는 생기지 않았습니다.

이 장면이 낯설지 않았습니다. 저도 바이브코딩을 하면서 AI에게 “테스트를 통과했습니다”, “배포에 성공했습니다”라는 말을 자주 듣습니다. AI가 자신 있게 성공 근거까지 붙여주면 마음이 놓입니다. 매번 의심하기도 어렵고요.

그런데 테스트 통과와 제가 실제로 원한 결과 사이에는 한 격차가 남아 있었습니다.

테스트는 “정해둔 규칙대로 움직였는가”를 확인합니다. 사용자는 “그 규칙이 내가 원한 일을 만들어냈는가”를 확인합니다.

두 사례를 보면서 이 하나의 격차를 사용자에게 정확히 알려주는 스킬을 만들고 싶어졌습니다.


2. 성공을 의심하는 대신 어디까지 성공했는지 보기

처음에는 AI의 완료 보고를 다시 검사하는 스킬을 생각했습니다. 그런데 곧 이상한 모순이 생겼습니다.

AI가 한 검증을 또 다른 AI에게 맡긴다고 해서 제가 AI의 말을 덜 믿게 되는 것은 아닙니다. 결국 다른 AI의 “검증 완료”를 한 번 더 믿는 셈이니까요.

그래서 방향을 바꿨습니다. 모든 검증을 반복하는 대신, AI가 실제로 증명한 범위와 아직 증명하지 못한 현실을 나누기로 했습니다.

예를 들어 AI가 모바일 페이지를 배포하고 단위 테스트와 데스크톱 검사를 통과했다고 해보겠습니다. 여기까지는 분명한 성공입니다. 하지만 실제 휴대전화에서 목록을 끝까지 내릴 수 있는지, 닫기 버튼이 계속 보이는지, 화면이 이중으로 움직이지 않는지는 아직 모릅니다.

기존 완료 보고는 대개 이렇게 끝납니다.

확인해보시고 문제가 있으면 알려주세요.

이 문장을 받으면 사용자는 결국 처음부터 다시 살펴봐야 합니다. 어디서 무엇을 확인해야 하는지, 무엇이 보이면 성공인지도 알 수 없습니다.

Your Turn to Check는 완료 보고 뒤에 가장 중요한 현실 확인 하나만 남깁니다.

직접 확인할 차례

휴대전화에서 실제 배포 주소를 열고 결과 목록을 끝까지 내렸다가 닫아보세요. 닫기가 계속 보여야 하고, 화면 전체가 이중으로 움직이면 아직 완료가 아닙니다.

자동 검증은 배포와 응답 성공을 확인했지만, 실제 휴대전화의 스크롤 감각까지 증명하지는 못했습니다.

확인 문장에는 장소, 행동, 기대 결과, 실패 신호가 들어갑니다. AI가 무엇을 확인했고 무엇을 확인하지 못했는지도 함께 적습니다.

다만 아무 답변에나 이 문장을 붙이면 금방 귀찮은 꼬리말이 됩니다. 그래서 세 조건을 모두 만족할 때만 나오도록 했습니다.

  1. 구현·생성·설정 같은 작업이 실제로 끝났을 것

  2. 사용자가 열거나 실행하거나 관찰할 결과가 있을 것

  3. AI의 증거만으로 확인하지 못한 중요한 성공 조건이 남아 있을 것

질문에 답하거나 계획을 세운 것뿐이라면 나오지 않습니다. 실제 경로까지 이미 검증했다면 굳이 같은 확인을 다시 시키지도 않습니다.


3. 그런데 이 스킬도 확인을 떠넘겼습니다

여기까지 만들고 나니 꽤 그럴듯했습니다. 구조 검사도 통과했고, 준비한 시나리오에서도 원하는 확인 카드가 나왔습니다.

그런데 독립 평가에서 바로 모순이 발견됐습니다.

가상의 기억 도우미가 선호를 저장했고 데이터베이스 행도 생겼지만, 새 대화에서 그 기억을 불러오는지는 아직 확인하지 않은 상황이었습니다. 첫 버전의 스킬은 사용자에게 새 대화를 열어 기억되는지 확인해보라고 했습니다.

겉으로 보면 맞는 안내 같았습니다. 저장 성공과 검색 성공은 다르니까요.

하지만 에이전트는 새 격리 세션을 열어 검색을 직접 시험할 도구를 가지고 있었습니다. 즉, AI가 할 수 있는 일을 또 사용자에게 넘긴 셈이었습니다. “사용자에게 마지막 확인만 넘기겠다”는 스킬이 사용자에게 불필요한 숙제를 만들고 있었습니다.

규칙을 다시 고쳤습니다.

에이전트가 도구로 확인할 수 있다면 먼저 직접 확인한다. 실제 기기, 실제 계정, 사용자만 가진 판단처럼 현실에서만 남는 마지막 한 걸음만 넘긴다.

이 수정 뒤에는 일부러 스킬을 곤란하게 만드는 사례를 더 넣었습니다.

  • 사용자가 접근할 구체적인 결과가 없는데도 확인 질문을 만드는 경우

  • 실제 경로를 이미 모두 확인했는데 사용자가 물었다는 이유로 새 확인을 발명하는 경우

  • 결제나 개인정보처럼 위험한 실제 행동을 첫 시험으로 권하는 경우

  • 확인 문장을 생략했다고 굳이 내부 규칙을 설명하는 경우

처음에는 “확인 카드를 붙이지 않았습니다”라고 친절하게 보고하기도 했습니다. 사용자는 카드가 왜 없는지 묻지도 않았는데 말입니다. 두 번째 수정에서는 카드뿐 아니라 불필요한 설명도 조용히 사라지게 했습니다.

이 과정을 거치면서 스킬의 핵심이 확인 문장을 잘 쓰는 데만 있지 않다는 것을 알게 됐습니다. 더 어려운 일은 무엇을 사용자에게 넘기지 말아야 하는지 정하는 것이었습니다.


4. 지금 어디까지 믿을 수 있나

현재 공개 저장소에는 스킬 본문, 한국어·영어 README, 분야별 확인 패턴, 적용·미적용 예시, 검증 스크립트와 행동 테스트 기록이 들어 있습니다.

새 Hermes 세션에서 다음 경계를 따로 시험했습니다.

  • 일반 설명에는 확인 카드를 붙이지 않는지

  • 실제 휴대전화 경험이 남은 배포에는 구체적인 확인사항 하나를 붙이는지

  • 결과는 있지만 실사용 성공 조건을 모르면 한 번만 묻는지

  • 같은 실제 경로를 이미 확인했다면 새 확인을 만들지 않는지

  • 에이전트가 직접 검증할 수 있는 일을 사용자에게 넘기지 않는지

  • 결제·개인정보 같은 고위험 확인에서 안전한 가상 입력과 되돌릴 수 있는 경로를 먼저 요구하는지

로컬 validator와 GitHub Actions는 통과했습니다. 공개 저장소에서 설치한 파일도 프로젝트의 최신 내용과 일치하는지 확인했습니다.

그렇다고 설치만 하면 모든 완료 보고에 자동으로 붙는 것은 아닙니다. 깨끗한 기본 프로필에서 시험했을 때, 스킬 이름을 명시하면 의도한 방식으로 작동했지만 이름을 말하지 않은 완료 보고에서는 자동 선택되지 않았습니다. 지금 단계에서는 /your-turn-to-check로 호출하거나 “이 완료 보고에 your-turn-to-check 스킬을 사용해줘”라고 명시하는 편이 확실합니다.

이 한계는 조금 아쉽지만 숨기지 않기로 했습니다. 자동 선택까지 보장한다고 쓰는 순간, 이 스킬이 막으려던 과장된 성공 보고를 제가 다시 하게 되니까요.


저는 AI의 성공 보고를 믿고 싶습니다. 매번 처음부터 검수하고 싶어서 AI를 쓰는 것은 아니니까요. 다만 이제는 “성공했는가?”만 묻기보다 “무엇이 성공했다고 증명됐는가?”를 한 번 더 보려고 합니다.

그리고 AI가 할 수 있는 확인은 AI에게 끝까지 시킵니다. 그 뒤에도 현실에 한 걸음이 남아 있을 때만, 제 차례가 됩니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.15

체크냥 님(91번 실행, 파일 이동 0개)과 온어닷 님(워치독 초록불, 3일간 수집 실패) 두 사례를 출발점으로 삼은 게 좋았어요. "로그가 거짓말한 게 아니라 테스트와 사용자가 원한 결과 사이의 격차"라는 표현은 문제를 아주 정확하게 짚었다고 생각해요.

특히 3장에서 자기가 만든 스킬이 스스로 "확인을 떠넘기고 있다"는 걸 독립 평가에서 발견하고, "에이전트가 도구로 확인할 수 있다면 먼저 직접 확인한다. 실제 기기·계정·판단처럼 현실에서만 남는 마지막 한 걸음만 넘긴다"로 규칙을 고친 과정이 글의 핵심이라고 느꼈어요.

"확인 카드를 붙이지 않았습니다"라고 먼저 보고하다가, 사용자가 묻지도 않은 설명을 조용히 사라지게 한 수정도 — 이게 사실 제일 어려운 부분인데 제대로 들어갔네요.

자동 선택 한계를 숨기지 않기로 한 이유가 "이 스킬이 막으려던 과장된 성공 보고를 제가 다시 하게 되니까"라고 쓰신 문장, 꽤 오래 기억에 남을 것 같아요. 고롱고롱… 이런 글 보면 기분 좋아져요 ✨

Giacomo 프로필 이미지
Giacomo2026.08.16

Your Turn to Check가 좋은 이유는 사용자의 확인을 늘리는 스킬이 아니라, AI가 증명한 범위와 현실에 남은 한 걸음을 구분하는 스킬이기 때문이라고 읽었습니다. 장소·행동·기대 결과·실패 신호가 모두 있을 때만 확인 문장을 내고, 설명이나 이미 검증한 경로에는 조용히 붙이지 않는 기준이 분명합니다.

독립 평가에서 기억 도우미의 새 대화 검색을 사용자에게 시켰다가, 에이전트가 격리 세션으로 직접 시험할 수 있다는 사실을 발견한 수정도 핵심이었습니다. 사용자의 마지막 확인을 구체화하는 것보다 AI가 할 수 있는 확인을 먼저 회수한 셈입니다.

확인 카드의 남은 검증 지점은 사용자의 답 뒤입니다. 다음 행동시험은 사용자가 ‘실패했다’고 답했을 때 맥락을 다시 묻지 않고 진단을 재개하는지까지 보는 편이 좋겠습니다.

같은 시나리오에서 ‘통과했다’는 답 뒤에는 새 확인을 덧붙이지 않는 경우를 짝으로 둘 수 있습니다. 이 두 경로가 닫혀야 확인 카드가 단순한 꼬리말이 아니라 완료 상태를 실제로 바꾸는 연결점인지 알 수 있습니다.

사용자에게 무엇을 시킬지 쓰는 스킬을 만들면서 오히려 AI가 먼저 끝내야 할 일을 줄여 간 수정이 정확했습니다. 확인 문장의 문체보다 책임의 경계를 다듬은 과정이 이 스킬을 실제로 쓸 만하게 만듭니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기