소개
OpenClaw를 쓰다 보면 "스킬"이라는 걸 만들게 됩니다. 스킬은 AI에게 "이런 상황에서 이렇게 해"라고 적어둔 작업 지침서(SKILL.md)인데요. 근데 이걸 직접 잘 쓰기가 생각보다 어렵습니다.
AI가 70%는 잘 하는데 30%는 엉뚱하게 하거든요. 그래서 "AI한테 직접 테스트하고 고치게 하면 안 되나?" 하는 생각에 autoresearch를 돌려봤습니다.
진행 방법
Threads에서 AI 소식을 정리하다가 Andrej Karpathy(테슬라 AI 총괄 출신)가 만든 "autoresearch"라는 방법론을 알게 됐어요. 원래는 AI 연구 코드를 자동 최적화하는 건데, 이걸 OpenClaw 스킬 프롬프트 개선에 적용한 스킬이 ClawHub에 있더라고요.
바로 설치해서 돌려봤습니다.
autoresearch가 하는 일을 쉽게 설명하면: 1. 내 스킬을 여러 번 써본다 (테스트) 2. 결과를 "통과/실패"로 채점한다 (채점 기준은 내가 정함) 3. 왜 실패했는지 분석한다 4. 프롬프트를 딱 1가지만 고친다 5. 다시 테스트해서 점수가 오르면 유지, 아니면 원래대로 되돌린다 6. 이걸 자동으로 반복한다
사람이 할 일은 처음에 "좋은 결과란 뭔지" 기준만 정해주면 됩니다. 나머지는 AI가 알아서 합니다.
사례 1: ai-news-summary 스킬 (뉴스 요약) 매일 AI 뉴스를 자동으로 요약해주는 스킬이 있었는데, 3번 중 1번꼴로 에러가 났어요.
• 처음 점수: 66.7% (3번 중 1번 실패) • autoresearch 돌린 결과: 2번 실험 만에 100% 달성 • AI가 스스로 에러 핸들링과 재시도 로직을 프롬프트에 추가했습니다 • 소요 시간: 약 5분
사례 2: obsidian-direct 스킬 (옵시디언 노트 관리) 옵시디언 볼트에 노트를 검색/생성/편집하는 스킬인데, 문제가 많았어요. 원래 리눅스용으로 만들어진 스킬이라 윈도우에서 경로가 안 맞고, 한글 폴더명 처리도 안 되고, 노트 편집하면 frontmatter(메타데이터)가 날아가기도 했습니다.
• 처음 점수: 45% (절반도 안 됨!) • autoresearch 돌린 결과: 3번 실험 만에 100% 달성 • AI가 한 일: • 1차: 리눅스 경로를 윈도우/리눅스 자동 분기로 변경 (45%→95%) • 2차: 편집할 때 frontmatter 보존 규칙 추가 (95%→100%) • 3차: 한글 폴더 구조 참조 추가 (100% 유지, 실용성 향상) • 소요 시간: 약 5분
결과와 배운 점
• 두 스킬 모두 5번 이내 실험으로 100% 달성. discard(실패한 수정) 0회
• 핵심은 채점 기준을 "통과/실패"로 명확하게 정하는 것. "1~10점"처럼 애매한 척도는 오히려 결과가 불안정
• 대시보드 HTML이 자동으로 만들어져서 점수가 올라가는 그래프를 실시간으로 볼 수 있음 (이게 꽤 쾌감 있습니다 ㅎ)
여러 그래프를 보여주는 대시보드 스크린샷
• "프롬프트도 코드처럼 테스트하고 개선할 수 있다"는 걸 처음 체감한 경험이었습니다.
• 새 스킬 만들 때마다 한 번 돌려주면 품질 보증이 되니까, 앞으로 적극 활용할 예정입니다.
도움 받은 글 (옵션)
Threads @choi.openai 글 정리 중 Andrej Karpathy의 autoresearch 방법론을 알게 되어 적용해봤습니다.
