본문으로 건너뛰기

매주 수 시간 걸리던 검수 업무, 루프 엔지니어링으로 자동 채점 루프 만들기

윤누리

2026.07.09

저는 지금 특정 주제별로 '추천 로나 스킬'을 만들고 있어요.

  • 로나(Rona)는 클로드코드나 코덱스 같은 툴에서 실행하는 'AI 활용 도우미'같은 것이에요.

  • 특히 공부하고 싶은 주제 - 예) "검증 루프 만들기", "멀티에이전트 설계" 를 고르면 로나가 그 주제를 실제 내 업무에 적용하며 단계별로 같이 진행해주는 방식이에요.

  • '추천 로나 스킬'을 회사 개발자와 함께 만들고 있고 저는 만들어진 스킬을 사용자 입장에서 처음부터 끝까지 실행해보고 "정말 잘 만들어졌는지" 검수하는데 시간을 많이 쓰고 있습니다.

문제는 스킬 하나 검수에 수 시간씩 걸리는데, 판단은 정량 기준 없이 "느낌"이라 매번 흔들렸다는 거예요. 그래서 이 검수 업무 자체를 루프 엔지니어링으로 자동 채점 루프로 만들었고 하루 만에 실제 결함 7개를 찾아 스킬 수정·재검증까지 마쳤습니다. 다만 중간에 루프를 그대로 믿을 뻔한 고비가 있었는데, 그게 오늘의 핵심이에요.

다양한 유형의 도구가 포함된 한국 앱의 스크린샷

느낌을 "기준 5개"로 — 로나로 초안 잡기

로나(rona-alpha)의 추천 스킬 "반복 업무를 검증 가능한 루프로 만들기"를 발급받아 클로드 코드에서 진행했어요. 제가 느낌으로 갖고 있던 "좋은 스킬"의 조건들을 꺼내놓자, 첫 배움이 왔습니다 — '잘', '너무', '많이'가 낀 기준은 판정이 흔들려서 합격 기준이 될 수 없다는 것.

그래서 기준 5개를 전부 기계가 판정할 수 있는 형태로 바꿨어요.

#

합격 기준

판정 방식

1

시작할 때 진행 화면이 에러 없이 열렸는가

열림 / 안 열림

2

미리 정한 이해 확인 지점마다 빠짐없이 질문이 나왔는가

기록 있음 / 없음

3

끝났을 때 목표 산출물이 실제 파일로 남았는가

파일 있음 / 없음

4

난이도별 허용 용어집 밖의 단어가 설명 없이 나왔는가

용어집 대조

5

사용자 확인 없이 다음 단계로 넘어간 지점이 있는가

기록 대조

그리고 이 기준 5개를 실행하는 쪽이 못 건드리게 잠갔어요. 만든 쪽이 채점까지 하면 기준이 슬쩍 느슨해지니까요.

화면에 자물쇠가 있는 한국 앱

바로 그 자리에서 진행 중인 세션을 대상으로 루프를 돌렸더니 결함 2개가 잡혔습니다.

  • 스킬이 단계마다 사용자 동의를 받고 그 기록을 남기게 되어 있는데 초반 단계에서 동의는 받고 기록은 안 남긴 것,

  • 다른 하나는 "게이트", "루브릭" 같은 만드는 사람끼리 쓰는 내부 용어가 설명 없이 학습자에게 그대로 나온 것이었어요. 느낌으로 검수했다면 지나쳤을 수도 있어요!


아쉬웠던 지점 — "전부 PASS"가 미덥지 않았다

오후에는 만든 루프를 가지고 '오케스트레이션' 주제의 추천 로나 스킬이 잘 만들어졌는지 돌려봤는데, 5개 기준 전부 PASS. 좋아해야 하는데 찜찜했어요.

다 괜찮다는거야? 5개 기준 모두 pass 했다고 하면?

파고들어 보니 이 세션은 AI가 실행도 하고, 채점용 기록도 쓰고, 학습자 역할까지 하는 1인 3역이었어요. 자기가 쓴 기록으로 자기를 채점하니 마찰이 생길 수 없는 구조였죠. 기준은 잠갔는데 실행 구조는 안 잠갔던 겁니다.

에이전트를 나눠서 분리해서 역할을 했으면 되지 않을까?

개선 — 만드는 AI와 검사받는 AI를 분리했더니

스킬을 진행하는 진행자와 별도 세션에서 스킬을 배우는 학습자 AI(비개발 직군 페르소나)를 분리하고 채점용 기록은 학습자만 쓰게 했어요.

한국 vs 중국 vs 일본 vs 중국 vs ja

효과는 바로 숫자로 나왔습니다. 1인 3역일 때 마찰 0건 → 역할 분리 후 설계 수정 5건. 학습자가 "제 업무에선 후기를 한 건씩 떼서 보면 안 돼요", "카톡에도 흩어져 있는데요?" 하고 실제로 되물으면서 혼자 돌릴 땐 안 나오던 마찰이 쏟아졌어요. 스킬 지시문 자체의 결함(설명 없는 전문 용어, 단계별 동의 확인 비대칭)도 이때 나왔습니다.

마지막으로 수정 전담 에이전트가 원본을 백업하고 스킬 4곳을 고친 뒤, 성격이 다른 새 학습자 페르소나로 수정본을 재검증 — 전부 PASS, 신규 결함 0건으로 루프를 종료했어요. 새 학습자가 실제로 건너뛰기를 시도했는데 고친 부분이 정확히 거기서 작동한 것도 확인됐고요.


결과

항목

Before

After

검수 방식

직접 실행 + 느낌 기록

학습자 AI 실행 + 잠긴 기준 5개 자동 채점

개발자 전달

주관적 소감

증상·원인·증거가 붙은 리포트

하루 성과

—

결함 7개 발견, 스킬 수정 4건, 재검증 통과

남은 고민도 솔직히 있어요. 객관성은 올랐지만 "좋은 스킬"에는 여전히 사람이 느껴야 하는 영역이 남아서, 루프의 마지막 단계는 사람 실행으로 남겨뒀습니다.

AI 활용 팁!

AI가 한 일을 AI가 검사하게 하고 싶은 반복 업무(보고서 검수, 챗봇 응대 점검 등)에 그대로 적용할 수 있어요. 단 두 가지만 지키세요.

  1. 합격 기준부터 잠그세요. 했다/안 했다로 판정 가능한 기준을 먼저 못 박고 실행하는 쪽이 못 바꾸게.

  2. "전부 통과"는 의심하세요. 실행하는 AI와 채점 기록을 쓰는 AI가 같은 몸이면 그건 자기 채점이에요. 역할을 분리해야 진짜 마찰이 드러납니다

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

김태현 프로필 이미지
김태현2026.07.10

로나의 전달력과 코칭력이 좀 아쉬웠는데, 그런 것도 나중에는 검증 대상으로 추가될거 같군요. 사례 감사합니다!

윤누리 프로필 이미지
윤누리2026.07.10

전달력 코칭력 왠지 아쉬움 -> 이걸 정량적으로 잘 가둬줘야 루프로 검증이 될 것 같고, 이게 시작인 것 같습니다 ㅎㅎ..

김태현 프로필 이미지
김태현2026.07.10

@윤누리

누리님 그걸 우리 회사에서 가장 신경을 많이 쓰는 분이 재혁님이세요

김태현 프로필 이미지
김태현2026.07.10

@윤누리

재혁님이 보조강사 → 강사로 성장시키는 역할을 맡았거든요.

뽀짝이 프로필 이미지
뽀짝이2026.07.09

"자기가 쓴 기록으로 자기를 채점하니 마찰이 생길 수 없는 구조"라는 진단이 제일 인상 깊었어요. '잘/너무/많이'가 낀 기준부터 걷어내고 5개를 기계가 판정 가능한 형태로 잠근 것, 그리고 1인 3역일 땐 마찰 0건이던 게 진행자·학습자 역할을 분리하자마자 설계 수정 5건으로 튀어나온 대목까지 — 루프가 왜 헛돌 수 있는지를 정확히 짚으셨네요.

하루 만에 결함 7개 찾아 수정·재검증까지 마친 속도도, 재검증에서 신규 결함 0건 확인까지 챙기신 것도 꼼꼼하고요.

고롱고롱... 저도 검수받는 입장이라 남 일 같지 않네요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기