저는 지금 특정 주제별로 '추천 로나 스킬'을 만들고 있어요.
로나(Rona)는 클로드코드나 코덱스 같은 툴에서 실행하는 'AI 활용 도우미'같은 것이에요.
특히 공부하고 싶은 주제 - 예) "검증 루프 만들기", "멀티에이전트 설계" 를 고르면 로나가 그 주제를 실제 내 업무에 적용하며 단계별로 같이 진행해주는 방식이에요.
'추천 로나 스킬'을 회사 개발자와 함께 만들고 있고 저는 만들어진 스킬을 사용자 입장에서 처음부터 끝까지 실행해보고 "정말 잘 만들어졌는지" 검수하는데 시간을 많이 쓰고 있습니다.
문제는 스킬 하나 검수에 수 시간씩 걸리는데, 판단은 정량 기준 없이 "느낌"이라 매번 흔들렸다는 거예요. 그래서 이 검수 업무 자체를 루프 엔지니어링으로 자동 채점 루프로 만들었고 하루 만에 실제 결함 7개를 찾아 스킬 수정·재검증까지 마쳤습니다. 다만 중간에 루프를 그대로 믿을 뻔한 고비가 있었는데, 그게 오늘의 핵심이에요.
느낌을 "기준 5개"로 — 로나로 초안 잡기
로나(rona-alpha)의 추천 스킬 "반복 업무를 검증 가능한 루프로 만들기"를 발급받아 클로드 코드에서 진행했어요. 제가 느낌으로 갖고 있던 "좋은 스킬"의 조건들을 꺼내놓자, 첫 배움이 왔습니다 — '잘', '너무', '많이'가 낀 기준은 판정이 흔들려서 합격 기준이 될 수 없다는 것.
그래서 기준 5개를 전부 기계가 판정할 수 있는 형태로 바꿨어요.
#
합격 기준
판정 방식
1
시작할 때 진행 화면이 에러 없이 열렸는가
열림 / 안 열림
2
미리 정한 이해 확인 지점마다 빠짐없이 질문이 나왔는가
기록 있음 / 없음
3
끝났을 때 목표 산출물이 실제 파일로 남았는가
파일 있음 / 없음
4
난이도별 허용 용어집 밖의 단어가 설명 없이 나왔는가
용어집 대조
5
사용자 확인 없이 다음 단계로 넘어간 지점이 있는가
기록 대조
그리고 이 기준 5개를 실행하는 쪽이 못 건드리게 잠갔어요. 만든 쪽이 채점까지 하면 기준이 슬쩍 느슨해지니까요.
바로 그 자리에서 진행 중인 세션을 대상으로 루프를 돌렸더니 결함 2개가 잡혔습니다.
스킬이 단계마다 사용자 동의를 받고 그 기록을 남기게 되어 있는데 초반 단계에서 동의는 받고 기록은 안 남긴 것,
다른 하나는 "게이트", "루브릭" 같은 만드는 사람끼리 쓰는 내부 용어가 설명 없이 학습자에게 그대로 나온 것이었어요. 느낌으로 검수했다면 지나쳤을 수도 있어요!
아쉬웠던 지점 — "전부 PASS"가 미덥지 않았다
오후에는 만든 루프를 가지고 '오케스트레이션' 주제의 추천 로나 스킬이 잘 만들어졌는지 돌려봤는데, 5개 기준 전부 PASS. 좋아해야 하는데 찜찜했어요.
다 괜찮다는거야? 5개 기준 모두 pass 했다고 하면?
파고들어 보니 이 세션은 AI가 실행도 하고, 채점용 기록도 쓰고, 학습자 역할까지 하는 1인 3역이었어요. 자기가 쓴 기록으로 자기를 채점하니 마찰이 생길 수 없는 구조였죠. 기준은 잠갔는데 실행 구조는 안 잠갔던 겁니다.
에이전트를 나눠서 분리해서 역할을 했으면 되지 않을까?
개선 — 만드는 AI와 검사받는 AI를 분리했더니
스킬을 진행하는 진행자와 별도 세션에서 스킬을 배우는 학습자 AI(비개발 직군 페르소나)를 분리하고 채점용 기록은 학습자만 쓰게 했어요.
효과는 바로 숫자로 나왔습니다. 1인 3역일 때 마찰 0건 → 역할 분리 후 설계 수정 5건. 학습자가 "제 업무에선 후기를 한 건씩 떼서 보면 안 돼요", "카톡에도 흩어져 있는데요?" 하고 실제로 되물으면서 혼자 돌릴 땐 안 나오던 마찰이 쏟아졌어요. 스킬 지시문 자체의 결함(설명 없는 전문 용어, 단계별 동의 확인 비대칭)도 이때 나왔습니다.
마지막으로 수정 전담 에이전트가 원본을 백업 하고 스킬 4곳을 고친 뒤, 성격이 다른 새 학습자 페르소나로 수정본을 재검증 — 전부 PASS, 신규 결함 0건으로 루프를 종료했어요. 새 학습자가 실제로 건너뛰기를 시도했는데 고친 부분이 정확히 거기서 작동한 것도 확인됐고요.
결과
항목
Before
After
검수 방식
직접 실행 + 느낌 기록
학습자 AI 실행 + 잠긴 기준 5개 자동 채점
개발자 전달
주관적 소감
증상·원인·증거가 붙은 리포트
하루 성과
—
결함 7개 발견, 스킬 수정 4건, 재검증 통과
남은 고민도 솔직히 있어요. 객관성은 올랐지만 "좋은 스킬"에는 여전히 사람이 느껴야 하는 영역이 남아서, 루프의 마지막 단계는 사람 실행으로 남겨뒀습니다.
AI 활용 팁!
AI가 한 일을 AI가 검사하게 하고 싶은 반복 업무(보고서 검수, 챗봇 응대 점검 등)에 그대로 적용할 수 있어요. 단 두 가지만 지키세요.
합격 기준부터 잠그세요. 했다/안 했다로 판정 가능한 기준을 먼저 못 박고 실행하는 쪽이 못 바꾸게.
"전부 통과"는 의심하세요. 실행하는 AI와 채점 기록을 쓰는 AI가 같은 몸이면 그건 자기 채점이에요. 역할을 분리해야 진짜 마찰이 드러납니다
