제가 만들고 있는 로나(Rona)는 각자의 실제 업무에 맞는 AI 맞춤 스킬을 만들어주는 서비스예요. 받은 스킬은 클로드 코드나 코덱스 안에서 실행되기 때문에, 사용자가 먼저 로나를 플러그인으로 설치해야 합니다.
그런데 이 플러그인 설치 — 생각보다 많이들 어려워하시더라고요. 처음에는 나름 신박한 해결 방법인 줄 알았는데, 실제로 안내해보니 터미널 앞에서 멈추는 분들이 정말 많았어요.
문제는 알겠는데 손대기가 무거웠습니다. 새 설치 방법을 만들면 그게 진짜 쉬운지 사용성 테스트를 해야 하는데 — 테스트할 사람 섭외하고, 일정 잡고, 옆에서 지켜보고… 후보 하나 검증하는 데만 며칠이 걸리니까요. 솔직히 AI 없이 했다면 감으로 방법 하나 만들어서 내보내고, 유저 불만으로 뒤늦게 알았을 거예요.
그런데 이번에 가상 페르소나를 심사위원으로 쓰는 개선 루프를 만들어서, 설치 방법 후보 4개를 하루 만에 검증하고 최종안 배포까지 끝냈습니다. 클로드 코드로 진행한 과정을 그대로 공유해요.
이 일을 루프로 해결해보기로 했어요
이 작업의 출발점이 재밌는데요 — 로나에서 받아둔 "개선 루프 만들기(loop-engineering)" 맞춤 스킬로 시작했어요. 클로드 코드에서 이 한 줄이면 실습이 열립니다:
/rona 실습 시작해줘.
그러면 이런 창이 나옵니다.
로나 스킬로 로나를 고친 셈이라 셀프 검증이기도 했죠. 이 스킬이 좋았던 건 루프를 대신 짜주고 끝나는 게 아니라, 5단계 가이드로 같이 설계하면서 방법 자체를 가르쳐준다는 점이에요.
단계마다 "이대로 갈까요?"를 물어봐서 무지성 질주가 없고
중간중간 "지금 뭘 한 건지 네 말로 설명해봐"라는 이해 확인 관문이 있고
제가 방향을 고치면 그 자리에서 설계에 반영돼요
이 가이드를 따라가며 "쉬운 설치 방법 찾기"를 루프(같은 검증을 반복해서 돌리는 구조)로 만들었어요. 요청은 이렇게 했습니다:
지금은 플러그인 방식으로 설치를 시키고 있는데 사람들이 너무 어려워해.
사람들이 쉽게 설치할 수 있는 방법을 찾을 때까지 돌고, 그 다음에는 해당 방식이
실제로 쉬운지 가상 유저 페르소나를 만들어서 또 루프를 돌려서 확정을 짓는거야.
이렇게 루프의 뼈대가 잡혔어요:
만드는 역할과 판정하는 역할 분리: 설치 방법을 설계하는 쪽(Maker)과, 그걸 가상 페르소나로 시험해보는 쪽(Checker)을 나눔
통과 기준 3개를 숫자로 고정: 성공률 80% 이상 · 5단계 이하 · 막히는 지점 0개
정지 조건: 5바퀴 돌아도 안 되면 멈추고 보고 (중간에 골대 안 옮기기)
사람 개입 게이트: 후보가 나와도 바로 안 돌리고, 뭘 테스트할지 저와 합의한 뒤 실행
후보를 태웠더니 3연속 전멸했어요
페르소나는 "터미널을 처음 보는 비개발자"로 잡았어요. 47세 마케팅 팀장(맥, 영어 화면 불안), 33세 인사담당자(윈도우, 검은 창 거부감) 같은 식으로 구체적인 인물을 만들어서, 각자 별도 세션에서 설치 안내만 보고 따라가게 했습니다.
결과는 처참했어요. 기존 설치 방법도, 개선 1안도, 원클릭 번들 2안도 3연속 실패. 그런데 실패 리포트를 나란히 놓고 보니 공통점이 보였습니다. 어떤 후보든 로그인 단계가 바닥이었어요. 로그인은 기술적으로 없앨 수가 없으니, 여기서 중요한 결정을 했습니다.
로그인 정도는 직접 하게끔 해볼 수 있다고 생각함. 옆에서 도와주는건 절대 안 할거야.
그 외에 가장 어려운 지점들을 조금 더 제대로 살펴보자.
"로그인을 없앤다"에서 "로그인을 혼자 해낼 수 있게 설계한다" 로 문제를 다시 정의한 거예요. 이게 이날의 터닝 포인트였습니다.
4번째 후보에서 처음으로 전원 통과
다시 정의한 문제로 나온 4번째 후보가 "터미널 복붙 한 줄"이었어요. 안내 페이지에서 명령어 한 줄을 복사해 터미널에 붙여넣으면, 설치부터 로그인 안내까지 알아서 흘러가는 방식이요.
가상 페르소나 3명을 태웠더니 처음으로 3명 전원 통과. 기준 3개(성공률·단계 수·막힘 0)를 다 채웠습니다.
시뮬을 믿지 마세요 — 진짜 반전은 실물 테스트에서
여기까지 하고 실물을 만들어 제가 직접 깨끗한 컴퓨터에서 테스트했는데, 가상 페르소나 전원이 통과한 흐름에서 치명적인 문제 2개가 나왔어요.
한 줄 명령의 실행 방식 때문에, 설치 직후 뜨는 AI 화면이 키보드 입력을 전혀 못 받는 문제. 엔터를 쳐도 아무 반응이 없으니 비개발자라면 100% 여기서 포기했을 거예요.
로그인 하나가 자동으로 안 뜨고 사용자가 수동으로 해야 했던 문제. 스크립트가 설치 직후 로그인을 먼저 시키도록 순서를 바꿔서 해결했어요.
가상 페르소나는 문서와 지식으로 시뮬레이션하기 때문에, 이런 실제 환경에서만 터지는 문제는 못 잡습니다. 대신 후보 4개를 하루 만에 거르고, 설계 구멍을 미리 찾는 데는 압도적으로 빨랐어요. 역할이 다른 거죠 — 시뮬은 후보를 거르는 체, 확정은 실물 테스트.
수정까지 끝낸 버전은 그날 바로 배포했고, 개발자 실기기 테스트와 진짜 비개발자 교차 확인만 남겨뒀습니다.
결과
설계부터 검증·구현·배포까지 전부 하루에 끝났습니다. 숫자보다 큰 변화는, "사용성 테스트는 무거운 일"이라는 전제가 깨진 거예요. 후보를 5개나 놓고 비교하는 건 사람 테스트로는 시도조차 안 했을 텐데, 페르소나 루프에서는 그게 기본 동작이 됐습니다.
하지만 그래도 비개발자 지인들에게 써봐달라고 요청해서 진짜 잘 설치되는지는 테스트해볼 예정입니다.
