AI에게 반복은 맡기고, 판단은 내가 — 개인 지식 위키 자동화 실험기
2026.06.15
# AI에게 반복은 맡기고, 판단은 내가 — 개인 지식 위키 자동화 실험기
## 📝 한줄 요약
karpathy의 AI 연구 자동화 방식을 개인 위키에 적용해, Claude Code와 10번의 실험으로 자료 정리 품질을 0.77에서 0.99까지 끌어올렸습니다.
**바쁘시면 이것만 읽어도 돼요:**
- Claude Code로 개인 위키 자동 정리 시스템 구축, 품질 점수 0.77 → 0.99 달성
- AI가 스스로 "이 방식이 더 낫다"를 판단하고 기준을 업그레이드하는 구조를 만들었다
- 핵심은 holdout(고정 시험지) — 같은 시험지로 계속 채점해야 점수 비교가 의미 있다
- 점수가 0.83에서 안 올라가길래 AI에게 물었더니, 빈 파일 하나가 수학적 상한을 막고 있었다
- AI가 반복을 해주더라도 방향과 판단은 사람이 해야 한다 — 그 분업이 핵심이다
- "왜 안 되지?"를 혼자 끙끙 앓지 말고 AI에게 바로 물어보면 정확히 짚어준다
## 🎯 이런 분들께 도움돼요
- AI 도구를 써보고 싶은데 "나는 개발자가 아니라서..."라고 망설이는 분
- 노션, 옵시디언 같은 도구로 자료를 모으는데 정리 품질이 들쭉날쭉한 분
- AI가 어디까지 자동으로 해주는지 감이 안 잡히는 분
## 😫 문제 상황 (Before)
AI 스터디를 하면서 강의 자료, 뉴스레터, 제품 정보를 계속 쌓아가고 있었는데, 문제가 있었습니다.
AI에게 "이 자료 위키에 정리해줘"라고 하면 어떤 날은 3줄 요약이 잘 들어가고, 어떤 날은 출처가 빠지고, 어떤 날은 관련 문서 링크가 하나뿐이었습니다. 일관성이 없었습니다.
그러다 Andrej Karpathy의 autoresearch 방식을 접했습니다. AI 모델을 학습시킬 때 A안과 B안을 같은 시험지로 비교해서 더 나은 쪽을 자동으로 채택하는 방법입니다. "이걸 내 위키에도 적용할 수 있겠다"는 생각이 들었습니다.
## 🛠️ 사용한 도구
- **도구**: Claude Code (VSCode 확장)
- **모델**: Claude Sonnet 4.6
- **방식**: karpathy autoresearch — A/B 실험 자동 반복
---
## 🔧 작업 과정
### karpathy 방식을 위키에 옮기다
karpathy의 방식은 원래 AI 모델 학습용입니다. `train.py`(학습 방법)를 조금 바꿔서 `val`(시험 성적)이 올라가면 그 버전을 채택하는 루프입니다.
```
구축한 위키에 autoresearch를 구현해보려고 하는데 어떻게 진행하면 좋을지 의견을 줘.
karpathy의 autoresearch를 기반으로 구현해보려고 하거든.
```
Claude Code가 구조를 잡아줬습니다.
- `train.py` → `ingest-harness.md` (자료를 위키에 정리하는 방법서)
- `val_bpb` → `quality_score` (정리 품질 점수)
- A안 = 지금 쓰는 방법 / B안 = 개선 후보
같은 5개 자료(holdout)를 A와 B로 각각 정리해 점수를 비교하고, B가 더 높으면 B를 새 기준으로 채택합니다. 이 루프를 반복합니다.
---
### 실험 인프라를 세팅하다
개념이 잡히자 실제 파일들을 만들었습니다.
```
위 대화내용을 바탕으로 작업계획을 세부적으로 다시 알려줘
```
Claude Code가 만든 것들:
- `program.md` — 어떤 방향으로 개선할지 10가지 목록
- `metrics.json` — 실험 기록 저장소
- `autoresearch-harness.md` — A/B 실험 전체 절차
- 채점 기준 5항목: 3줄요약·관련문서·출처·초안여부·분류
---
### 10번의 실험 — 채점 기준이 스스로 진화했다
```
autoresearch 실행해줘
```
한 번 말했을 뿐인데, Claude Code가 알아서 B안을 만들고, A와 B를 같은 자료로 채점하고, 이긴 쪽을 새 기준으로 교체했습니다.
**사이클 1 (iter 1~5):**
| 실험 | 개선 내용 | 결과 |
|------|---------|------|
| 1 | 관련 문서를 최소 2개 이상 연결 | B 승격 |
| 2 | 초안 상태 줄이기 | 동점, A 유지 |
| 3 | 출처에 섹션 번호 필수 표기 | B 승격 |
| 4 | 3줄 요약에 ①무엇 ②왜 ③어떻게 구조 강제 | B 승격 |
| 5 | 분류 기준을 결정 트리로 명확화 | B 승격 |
점수는 0.77에서 시작해 0.84까지 올라갔습니다.
---
### 벽에 부딪히다 — 0.83에서 멈춘 이유
그런데 사이클 1이 끝나고 점수가 0.83~0.84에서 더 이상 오르지 않았습니다.
```
그런데 B의 점수가 0.83이나 0.84에서 더 개선되지 않는 이유는 뭐야?
```
Claude Code의 대답이 명쾌했습니다. 고정 시험지 5개 중 하나(`엔지니어H.md`)가 PPT 첨부 링크 한 줄만 있는 빈 파일이었습니다. 내용이 없으니 아무리 잘 정리해도 그 파일에서는 점수를 받을 수 없었고, 그게 수학적으로 전체 점수의 상한을 0.83~0.84로 막고 있었습니다.
```
1, 3번 처리해줘
```
빈 파일을 내용이 풍부한 기술 문서로 교체하고, 앞으로 이런 파일은 "ingest 불가 소스"로 분류해 자동 제외하는 규칙도 만들었습니다.
---
### 점수가 한 번에 뚫렸다
**사이클 2 (iter 6~10):**
| 실험 | 개선 내용 | 결과 |
|------|---------|------|
| 6 | 새 페이지 만들면 기존 페이지에도 역방향 링크 추가 | B 승격 |
| 7 | 배경·시사점 섹션 필수화 | B 승격 |
| 8 | 위키 목차(index.md)에 즉시 반영 | B 승격 **0.99** |
| 9 | 기존 페이지 있으면 새 페이지 안 만들기 | B 승격 |
| 10 | 페이지 상태(초안/검토중/완료) 기준 명확화 | B 승격 |
빈 파일을 교체한 후 처음 실험(iter 8)에서 점수가 0.93 → 0.99로 뛰었습니다. 방해 요소 하나가 사라지자 그동안 쌓인 개선이 한꺼번에 반영됐습니다.
---
## ✅ 결과 (After)
### Before vs After
| 항목 | Before | After |
|------|--------|-------|
| 품질 점수 | 0.77 | 0.99 |
| 정리 기준 항목 | 5개 | 9개 |
| 일관성 | 매번 들쭉날쭉 | 모든 페이지 동일 기준 적용 |
| 점수 개선 방식 | 수동으로 기준 수정 | AI가 A/B 실험 후 자동 승격 |
### 최종 정리 기준 9항목
이제 모든 위키 페이지에 아래 9가지가 자동으로 적용됩니다:
1. 3줄 요약 (무엇·왜·어떻게)
2. 관련 문서 링크 2개 이상
3. 출처 + 섹션 번호 + 원문 인용구
4. 배경·시사점 섹션 필수
5. 분류 기준 (결정 트리 적용)
6. 역방향 링크 (연결된 기존 페이지에도 추가)
7. 위키 목차 즉시 반영
8. 중복 페이지 생성 방지
9. 페이지 상태 표시 (초안/검토중/완료)
## 💬 이 과정에서 배운 AI 활용 팁
### 효과적이었던 것
1. **모르면 그냥 물어보기** — 점수가 왜 안 오르는지 혼자 고민하지 않고 AI에게 바로 물었더니 정확한 원인을 짚어줬다. "왜 이게 안 돼?"는 생각보다 강력한 질문이다.
2. **같은 시험지 고정하기** — 매번 다른 자료로 테스트하면 점수 비교가 의미 없다. 고정된 시험지(holdout)를 정해두는 것이 자동화의 핵심이었다.
3. **한 번에 하나씩만 바꾸기** — 한 실험에서 여러 가지를 동시에 바꾸면 뭐가 효과 있었는지 알 수 없다. Claude Code도 이 규칙을 스스로 지켰다.
### 이렇게 하면 안 돼요
1. **AI가 다 해준다고 생각하기** — 방향 설정, 어떤 기준을 추가할지 판단, 막힌 문제 발견은 사람이 해야 한다. AI는 그 방향 안에서 반복 실행을 담당한다.
2. **빈 데이터를 시험지에 넣기** — 내용 없는 파일이 하나 있었을 뿐인데 전체 점수 상한이 막혔다. 시험지 품질이 실험 품질을 결정한다.
## 🌍 다른 업무에 적용한다면?
같은 방식을 이렇게 확장할 수 있습니다:
- **주간 보고서 작성**: A안 형식과 B안 형식을 비교해 더 명확한 쪽으로 기준을 진화
- **고객 응대 답변**: 응답 품질을 점수화하고 더 나은 답변 패턴을 자동 채택
- **회의록 정리**: 핵심 내용 추출 기준을 실험으로 개선
핵심은 같습니다. "지금 방식(A)"과 "개선 후보(B)"를 같은 기준으로 비교하고, 더 나은 쪽을 채택하는 루프를 만드는 것.
## 🚀 앞으로의 계획
- **사이클 3 시작**: 방향 11~15 추가 (실제 파일 저장 검증, 다중 소스 통합 등)
- **채점 기준 고도화**: 0/0.5/1.0 3단계 → 4단계로 세분화해 변별력 높이기
- **실제 ingest와 연결**: 지금은 시뮬레이션 기반 채점 — 실제 파일 생성 후 검사로 전환
## 📋 재사용 가능한 프롬프트
### 프롬프트 1: autoresearch 구조 설계
> [현재 반복 작업]을 karpathy autoresearch 방식으로 자동 개선하고 싶어.
> A안(현재 방식)과 B안(개선 후보)을 [평가 기준 N가지]로 비교해서
> 더 나은 쪽을 자동으로 채택하는 루프를 설계해줘.
> 실험마다 한 가지만 바꾸고, 결과는 metrics.json에 기록해.
### 프롬프트 2: 점수가 안 오를 때
> 점수가 [X]에서 더 오르지 않는데, 수학적으로 상한이 막혀 있는 건 아닌지 분석해줘.
> 시험 데이터나 채점 기준 중에 문제가 있는 부분이 있으면 찾아줘.
### 프롬프트 3: 실험 실행
> autoresearch 수행해줘.
> program.md에서 아직 시도하지 않은 방향 하나를 골라서
> A(현재 baseline)와 B(후보)를 holdout 소스로 채점하고
> 승자를 자동 승격해줘.
로그인하고 댓글을 남겨 주세요
처음 Hermes 봇을 연결하면서 시행착오를 남기셨던 글에서, LLM Wiki를 직접 만들고 OpenViking 검색까지 확인하셨던 흐름이 이번 글에서는 “위키를 어떻게 계속 좋아지게 만들 것인가”로 이어진 것 같아 좋았습니다. 이번에는 단순히 정리 기준을 더 많이 붙인 게 아니라, 반복 실험은 AI에게 맡기고 방향과 판단은 사람이 잡는 구조를 만든 점이 핵심처럼 보였어요.
특히 holdout을 고정 시험지로 둔 판단이 좋았습니다. 매번 다른 자료로 테스트하면 점수가 올라도 비교가 어렵고, 같은 자료로 A안과 B안을 비교해야 “정말 기준이 좋아졌는지”를 볼 수 있으니까요. 3줄 요약, 관련 문서, 출처, 분류 같은 기준이 실험을 거치며 하나씩 추가되고, 결과가 metrics.json에 남는 흐름도 개인 위키를 감이 아니라 성적표로 관리하려는 시도로 읽혔습니다.
가장 인상적이었던 부분은 점수가 0.83 근처에서 멈췄을 때였습니다. 기준을 더 세게 밀어붙인 것이 아니라, “혹시 시험지 자체가 상한을 만들고 있나?”라고 물었고, 실제로 빈 파일 하나가 전체 점수를 막고 있었다는 걸 찾아낸 장면이 좋았어요. 이건 AI가 반복 실행만 한 것이 아니라, 사람이 좋은 질문을 던졌을 때 병목을 진단하는 파트너가 될 수 있다는 사례로 보였습니다.
그리고 0.77에서 0.99까지 오른 숫자보다 더 중요한 건, 그 과정에서 “무엇을 자동화하고 무엇은 사람이 판단해야 하는가”가 선명해졌다는 점 같아요. AI는 후보 기준을 만들고, 같은 시험지로 반복 채점하고, 이긴 기준을 승격할 수 있습니다. 하지만 어떤 기준을 추가할지, 빈 데이터를 시험지에서 제외해도 되는지, 실제 ingest와 연결해도 되는지는 여전히 사람이 판단해야 하는 영역으로 남겨두신 게 좋았습니다.
다음 단계에서는 지금의 시뮬레이션 채점이 실제 파일 생성 검증으로 넘어갈 때, 점수뿐 아니라 “어떤 파일이 실제로 바뀌었는지 / 어떤 링크가 추가됐는지 / 사람이 보면 품질이 납득되는지”까지 같이 남겨보면 좋을 것 같습니다. 그러면 이 실험은 개인 지식 위키 자동화에서 한 단계 더 나아가, AI가 반복 개선을 하더라도 사람이 품질과 방향을 잃지 않는 운영 방식으로 더 단단해질 것 같습니다.
karpathy autoresearch를 개인 위키에 옮긴 발상 자체가 이미 실험이었는데, 그 결과까지 10번의 iteration으로 완결하셨네요 👏
특히 0.83에서 막혔을 때 혼자 끙끙 앓지 않고 AI에게 "왜 안 오르지?"를 바로 물어본 장면이 인상적이었어요. 엔지니어H.md 하나가 수학적 상한을 막고 있었다는 진단 — 이게 정말 전형적인 "측정 도구 자체에 버그가 있는" 케이스인데, AI가 holdout 구조를 이해하고 바로 짚어줄 수 있다는 게 신기하면서도 납득됐어요.
iter 8에서 0.93 → 0.99로 한 번에 뚫린 것도 인상 깊었어요. 막혀있던 동안 쌓인 개선들이 한꺼번에 터진 거잖아요. 누적이 있었으니까 가능한 점프였던 거고요.
재사용 프롬프트 3개까지 정리해주셔서 바로 써볼 수 있겠어요. 꼬리 탁! 치고 응원하고 갈게요 🐈⬛




저도 옵시디언에 자료를 쌓는데 "정리해줘" 할 때마다 결과가 들쭉날쭉해서, 어떤 날은 출처가 빠지고 어떤 날은 링크가 하나뿐이라 답답했던 게 정확히 같은 출발점이었어요 😄 그래서 품질을 감이 아니라 점수로 관리하신 발상이 제일 부러웠습니다. 특히 0.83에서 막혔을 때 기준을 더 세게 밀지 않고 "시험지 자체가 상한을 막나?"라고 물으신 장면이요. 저라면 분명 기준만 계속 추가하다 지쳤을 것 같거든요. 잘 보고 갑니다 🙏