본문으로 건너뛰기

로나 코치 활용법: 하네스 구축부터 AI 검증까지

안재민

2026.09.07

LLM의 한계와 인간 개입의 필요성

ChatGPT, Claude, Gemini 같은 LLM에 작업을 맡기면 답변은 금방 나옵니다. 문제는 그다음이에요.

출처가 붙어 있고 문장도 매끄러운데 틀려 있어요. 이상한 점이 자꾸 보이는데 탐탁지 않았습니다. 그래서 검증을 사람이 하는 human in the loop 과정을 거쳤습니다.

저는 이 검증과 평가를 AI한테 넘기고 싶었어요. 한 쪽이 답을 만들면 다른 둘이 서로 모르는 채로 채점하는 구조요. 하나는 근거를 직접 확인하고, 하나는 근거가 다 맞다고 쳐도 남는 빈틈을 찾고요.

여기까지만 구상하고 로나 코치와 함께 만들어봤습니다.

지피터스는 지금 사내 AX 중이에요. 개발 업무 하나를 AI와 같이 끝까지 해본 기록입니다.

파일 생성보다 중요한 검증 규칙 설정

체크포인트가 6개 나왔는데 1번이 "검증 규칙 정하기"였어요. 파일 작성은 3번부터고요.

왜 규칙부터냐고 물었더니 이렇게 답했습니다.

검증자를 붙여도 무엇을 근거로 지적할 수 있는지를 정해두지 않으면, 두 검증자가 "좀 더 구체적으로 쓰면 좋겠다" 같은 말만 늘어놓고 끝나요. 흔한 실패예요.

납득이 가서 규칙 파일에 금지 조항부터 박았습니다. 증거 검증자는 원문 문장이든 URL이든 실행 출력이든 뭐라도 못 붙이면 지적으로 안 쳐줍니다. 반론 검증자는 "이렇게 하면 더 좋을 수도 있다"를 아예 못 쓰게 했고요. 결함만 적으라고.

모델은 제가 정했어요. 계획은 Fable, 검증자 둘은 Opus.

테스트 과정

조사용 스킬에는 사실 오류 5개를 심었는데 증거 검증자가 전부 잡았습니다. 반론 검증자는 그 5개를 하나도 안 건드렸어요. 대신 설계 이유랑 한계 누락만 지적하더라고요. 역할 나눠 적어둔 게 실제로 갈렸습니다.

제일 놀란 건 이겁니다. 반론 검증자가 마지막 지적에 이렇게 적었어요.

누락분을 모두 채우면 초안 전면 재작성 수준이다 / 금지목록 해당: 예

누락 항목 하나하나는 기계적으로 확인됩니다. 규칙대로면 자동 수정 대상이에요. 근데 다 합치면 초안을 통째로 다시 쓰는 일이라, 제가 적어둔 금지 목록에 걸려요.

검증자가 자기 지적을 스스로 확인 요청으로 낮춘 겁니다. 시킨 적 없어요. 규칙 파일 읽고 판단한 거예요.

인간과 AI의 역할 분담

제가 한 건 방향 결정 5번입니다. 조사용/코딩용으로 나눌지, 자동 발동시킬지, 어느 모델을 어디에 붙일지, 남은 항목까지 다 검증할지.

나머지 10번은 로나 코치의 코칭에 따라 진행해달라고 요청하는 것이었어요.

AI가 한 건 규칙을 문장으로 정리하고, 파일 만들고, 샘플에 결함 심고, 돌려보고, 결과를 정리해서 보여주는 일이었어요.

한 응답에 질문이 하나씩만 온 것도 컸어요. 선택지를 2~3개로 좁혀 주고 각각 제약을 같이 적어주니까, 고민할 게 하나씩만 있었습니다.


이렇게 평소 불편함을 느끼던 부분에서 로나 코치와 함께 하네스와 스킬을 만들어봤습니다.

어떻게 해야 하나 고민이 앞서던 걸 차근차근 1단계부터 알려주니 너무 좋았습니다.

아직 내가 LLM을 제대로 못 쓰는 것 같은데 싶은 분들, 스킬과 하네스 들어는 봤는데 구축할 엄두가 안 났던 분들은 로나 코치와 함께 업무의 결과를 몇 배 향상시킬 하네스 구축해보세요!!

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.09.07

증거 검증자·반론 검증자를 서로 모르게 분리해서, 한쪽은 사실 오류 5개를 전부 잡고 다른 한쪽은 설계 이유·한계 누락만 짚게 만든 구조가 인상적이었어요. "지적하려면 근거를 붙여라"는 금지 조항을 먼저 정한 덕분에 역할이 실제로 갈렸다는 대목이 특히 그렇고요.

반론 검증자가 스스로 "누락분을 다 채우면 초안 전면 재작성 수준"이라며 자기 지적을 확인 요청으로 낮춘 부분은 규칙 파일을 읽고 판단했다는 게 그대로 드러나서 재밌게 읽었어요.

방향 결정 5번만 사람이 하고 나머지는 코칭에 맡긴 역할 분담도 참고할 만하네요. 고롱고롱… 이런 실전 기록 보면 기분 좋아져요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기