본문으로 건너뛰기

AI가 자기 프롬프트를 스스로 고치게 했더니!! autoresearch로 스킬 품질 45%→100%

윤스케어

2026.03.21

AI가 자기 프롬프트를 스스로 고치게 했더니!! autoresearch로 스킬 품질 45%→100% 본문 이미지

소개

OpenClaw를 쓰다 보면 "스킬"이라는 걸 만들게 됩니다. 스킬은 AI에게 "이런 상황에서 이렇게 해"라고 적어둔 작업 지침서(SKILL.md)인데요. 근데 이걸 직접 잘 쓰기가 생각보다 어렵습니다.

AI가 70%는 잘 하는데 30%는 엉뚱하게 하거든요. 그래서 "AI한테 직접 테스트하고 고치게 하면 안 되나?" 하는 생각에 autoresearch를 돌려봤습니다.

진행 방법

Threads에서 AI 소식을 정리하다가 Andrej Karpathy(테슬라 AI 총괄 출신)가 만든 "autoresearch"라는 방법론을 알게 됐어요. 원래는 AI 연구 코드를 자동 최적화하는 건데, 이걸 OpenClaw 스킬 프롬프트 개선에 적용한 스킬이 ClawHub에 있더라고요.

바로 설치해서 돌려봤습니다.

autoresearch가 하는 일을 쉽게 설명하면: 1. 내 스킬을 여러 번 써본다 (테스트) 2. 결과를 "통과/실패"로 채점한다 (채점 기준은 내가 정함) 3. 왜 실패했는지 분석한다 4. 프롬프트를 딱 1가지만 고친다 5. 다시 테스트해서 점수가 오르면 유지, 아니면 원래대로 되돌린다 6. 이걸 자동으로 반복한다

사람이 할 일은 처음에 "좋은 결과란 뭔지" 기준만 정해주면 됩니다. 나머지는 AI가 알아서 합니다.

사례 1: ai-news-summary 스킬 (뉴스 요약) 매일 AI 뉴스를 자동으로 요약해주는 스킬이 있었는데, 3번 중 1번꼴로 에러가 났어요.

• 처음 점수: 66.7% (3번 중 1번 실패) • autoresearch 돌린 결과: 2번 실험 만에 100% 달성 • AI가 스스로 에러 핸들링과 재시도 로직을 프롬프트에 추가했습니다 • 소요 시간: 약 5분

사례 2: obsidian-direct 스킬 (옵시디언 노트 관리) 옵시디언 볼트에 노트를 검색/생성/편집하는 스킬인데, 문제가 많았어요. 원래 리눅스용으로 만들어진 스킬이라 윈도우에서 경로가 안 맞고, 한글 폴더명 처리도 안 되고, 노트 편집하면 frontmatter(메타데이터)가 날아가기도 했습니다.

• 처음 점수: 45% (절반도 안 됨!) • autoresearch 돌린 결과: 3번 실험 만에 100% 달성 • AI가 한 일: • 1차: 리눅스 경로를 윈도우/리눅스 자동 분기로 변경 (45%→95%) • 2차: 편집할 때 frontmatter 보존 규칙 추가 (95%→100%) • 3차: 한글 폴더 구조 참조 추가 (100% 유지, 실용성 향상) • 소요 시간: 약 5분

결과와 배운 점

• 두 스킬 모두 5번 이내 실험으로 100% 달성. discard(실패한 수정) 0회

• 핵심은 채점 기준을 "통과/실패"로 명확하게 정하는 것. "1~10점"처럼 애매한 척도는 오히려 결과가 불안정

• 대시보드 HTML이 자동으로 만들어져서 점수가 올라가는 그래프를 실시간으로 볼 수 있음 (이게 꽤 쾌감 있습니다 ㅎ)

여러 그래프를 보여주는 대시보드 스크린샷

• "프롬프트도 코드처럼 테스트하고 개선할 수 있다"는 걸 처음 체감한 경험이었습니다.

• 새 스킬 만들 때마다 한 번 돌려주면 품질 보증이 되니까, 앞으로 적극 활용할 예정입니다.

도움 받은 글 (옵션)

Threads @choi.openai 글 정리 중 Andrej Karpathy의 autoresearch 방법론을 알게 되어 적용해봤습니다.

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

타마_ 프로필 이미지
타마_2026.04.05

배우게 되어 감사합니다 ☺️

오쌤_oSam 프로필 이미지
오쌤_oSam2026.03.25

좋은 사례 감사합니다. autoresearch 이용하면 버그 잡는데 좋을거 같은데요, BKIT과 비교하면 어떨가요?

윤스케어 프로필 이미지
윤스케어2026.03.26

Bkit는 저는 클로드코드에서 사용하면서 심도있게 진행해보게 되고 그 결과도 엄청났던거 같아요. autoreseach는 한번 명령시키면 정말 오픈클로가 알아서 해버리니까 결과는 엄청난데 어떤 면에서는 약간 허무하다는 느낌이 들더라구요ㅎㅎ

테
테소라2026.03.21

오 ㅎㅎ 저도 넘 궁금했었던 내용인데 성능이 진짜 꽤나 좋나보군요!! 공유 감사합니다 😊

윤스케어 프로필 이미지
윤스케어2026.03.21

네~저도 하면서 놀랍더라구요. 스킬만드는 스킬도 있고 스킬 업데이트하는 스킬도 있고요 ㅎㅎ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기