저는 평소에도 클로드 코드로 리서치를 자주 합니다. 병렬로 리서치 에이전트들에게 동시에 리서치를 요청해서, 최대한 빠르게 여러 부분을 커버하는 방식이에요. 속도와 커버리지는 만족스러운데, 결과의 깐깐함은 그때그때 달랐습니다.
오늘도 리서치를 했는데요, " 챌린지 기능이 강의를 대체하고 돈을 받을 수 있을까?"라는 주제였어요. 프롬프트 대신 리서치 방법론이 통째로 적힌 스킬 파일로 접근해봤습니다. 같은 클로드 코드인데 일하는 방식이 어떻게 달라졌는지, 좋았던 점과 아쉬운 점을 그대로 적어볼게요.
리서치 방법론이 통째로 적힌 스킬 파일은 어디서 받았냐?
Rona 에서 현재 테스트 중인 기능이에요. 오늘 하고자 하는 업무를 입력하면 '나만을 위한' 스킬을 만들어줍니다.
한국어 텍스트가 포함된 앱의 스크린샷
입력하면 스킬이 생성되고, 이걸 터미널에 붙여넣으면 스킬이 실행됩니다.
한국 앱 스크린샷
스킬을 실행하면 실행하면 이렇게 단계별로 어떤 부분을 진행하고 있는지도 알 수 있어요.
한국사이트 스크린샷
스킬 파일 안에는 뭐가 적혀 있었나
스킬의 실체는 마크다운 파일(SKILL.md) 하나입니다. 그런데 안을 열어보면 "리서치 잘해줘" 수준이 아니라, 리서치를 어떻게 해야 하는지가 문장 단위로 박혀 있어요. 실제 원문을 몇 개 인용해볼게요.
① 분석의 렌즈가 미리 정해져 있습니다.
"AI 콘텐츠는 무료 대안이 많고 변화 속도가 빨라서, 구매 가능성을 보려면 구매 이유보다 '왜 안 살지'를 먼저 뾰족하게 봐야 합니다."
프롬프트로 치면 매번 까먹기 쉬운 지시인데, 스킬에는 작업의 전제로 고정돼 있어요.
② 6단계로 쪼개져 있고, 단계마다 멈춥니다.
각 단계는 "무엇을 / 왜 / 어떻게" 구조로 적혀 있고, 단계 끝에는 이런 문장이 붙어 있습니다.
"Step 결과를 1~2줄로 요약하고 '다음으로 갈까요?' 하고 묻습니다 (
[네, 계속] / [수정 필요] / [중단])."
한 번에 보고서가 쏟아지는 평소 방식과 가장 체감이 달랐던 부분이에요.
③ 검색 결과의 합격 기준(OK/NG)까지 미리 적혀 있습니다.
"edX 설문 결과가 'AI 스킬 중요도'와 '실제 교육 참여율'을 함께 포함하면 OK · 한쪽만 있으면 NG → 다시 검색합니다."
이런 자가진단이 단계마다 하나씩 붙어 있어요. "검색해서 뭔가 나오면 통과"가 아니라, 어떤 내용이 들어 있어야 통과인지가 정의돼 있는 거죠. 검증이 제 몫에서 구조의 몫으로 넘어간 지점입니다.
④ 우리 주장에 불리한 근거도 지우지 못하게 합니다.
"⚠ caveat(근거의 주의점)는 압축하지 않고 보고서에 반영합니다: 금융 인센티브는 단기 효과가 강할 수 있지만, 인센티브가 끝나면 효과가 사라지는 경우가 많습니다. (…) 이 caveat 때문에 결론은 '보증금만으로 유료화 가능'이 아니라 '보증금은 진입과 완수를 만들고, 이후 지속 경로가 지불 의향을 키운다'로 둡니다."
⑤ "못 찾은 것"을 숨기지 못합니다.
"⚠ 보고서 마지막에는 '못 찾은 것'을 숨기지 않습니다: rona.so 실제 가격 구조, 내부 완수율 데이터, 한국 직장인 AI 교육 지불 의향 정량 조사 (…) 는 확보되지 않았습니다."
이 빈칸 목록이 그대로 다음 할 일 목록이 됐어요.
⑥ 출발 출처까지 박혀 있습니다. 단계마다 "여기부터 봐라"에 해당하는 도구 호출 예시 — 완주율 추적 자료(ruzuku), edX 설문, PwC 보고서, 행동경제학 논문(AEA) URL — 가 미리 적혀 있어서, 매번 검색을 백지에서 시작하지 않습니다.
끝나고 클로드에게 물어봤어요 — 평소랑 뭐가 달랐는지
이번 리서치, 그냥 너랑 대화로 했을 때랑 뭐가 달랐던 거야?
돌아온 답을 정리하면 이렇습니다.
일반 프롬프트 리서치
맞춤 스킬 적용
규칙
매번 채팅에 다시 써야 함
파일에 고정, 자동 적용
진행
한두 턴에 답 쏟아냄
단계마다 멈추고 동의 받음
검증
AI가 알아서, 들쭉날쭉
단계별 자가진단(OK/NG) 강제
출처
요청하면 달아주지만 빠뜨림
수치마다 각주 + 주의점 원문 보존
한계
잘 안 밝힘
"못 찾은 것" 명시 의무
결론
단정하기 쉬움
조건부로 닫게 강제
요약하면, 평소엔 그날그날 운에 맡기던 깐깐함이 구조로 강제되면서 결과의 편차가 줄었다는 게 핵심이에요. 잘 나온 날의 품질이 기본값이 된 느낌입니다.
아쉬운 점도 분명히 있었어요
방법론이 저에게는 안 보였어요. 위에 인용한 규칙들은 전부 작업이 끝난 뒤 스킬 파일을 열어보고 알게 된 거예요. 진행 중에는 클로드만 알고 따랐지, "지금 왜 이 판단 방법을 쓰는지"를 저에게 설명하지는 않았습니다. 단계마다 "이번엔 이런 방법을 씁니다. 이유는 ○○" 한 줄만 드러내면 해결될 문제라, 이 의견은 스킬 후기로 보냈습니다.
스킬이 잡아주는 건 스킬에 적힌 범위까지예요. 규칙에 없는 부분(예: 어떤 출처를 더 신뢰할지)은 여전히 평소의 들쭉날쭉함이 남습니다.
결과
항목
일반 프롬프트 방식
스킬 적용
결과 품질의 편차
그때그때 다름, 잘 나오면 운
규칙이 고정돼 일관됨
출처 검증
사후에 내가 되물으며 확인
진행 중에 구조가 검증 (OK/NG)
결론 형태
단정 경향, 한계 언급 드묾
조건부 결론 + "못 찾은 것" 명시