나만의 위키 구조 - 오류를 하나씩 수정하며 완성해가기
2026.08.12
소개
자료 수집 및 보고서 평가하는 프로세스를 가진 위키를 생성 중입니다. plan을 짜고 하나씩 검토해가면서 적용하고 있습니다. 최근에는 이 프로세스의 앞부분을 수정하면서, 파일을 마구잡이로 넣고, "깨진 추출"이 "품질 문제"로 둔갑하는 상황이 발생했습니다. 그래서 raw 소스가 wiki로 들어가기 전, 9단계 생애주기와 검문 게이트 2종을 추가 설계했습니다.
문제 상황 (Before)
지금 구성 중인 프로세스는 소스(보고서,논문, 서베이 등) 원본, 기획 문서, 분석 결과 같은 소스를 위키에 등록하면 도구가 그걸 읽어서 보고서 품질을 판정해주는 구조예요.
처음 설계는 단순했습니다. 수집 자동화 단계를 별도로 구성하고 있지만 아직까지는 업로드 형태로 문서를 넣고 파싱을 한 다음 품질을 판정해주는데 이것을 문서 길이 문제로 "폴더에 넣으면 → 스캔하고 → 파싱하고 → 품질 검사한다." 하는 방식으로 바꿨습니다.
여기서 문제는 2가지가 생겼습니다.
1. 문항 0개 사건 — 구버전 파서를 쓰는 바람에 CSV·엑셀 파일에서 내용이 하나도 추출되지 않았는데, 시스템은 이걸 "추출 실패"가 아니라 "품질 문제"로 보고했습니다.
2. 보기 분할 사건 — 객관식 보기가 구분자 문제로 엉뚱하게 쪼개졌는데, 이 역시 "보기 구성이 이상한 저품질 문항"으로 오진됐습니다.
두 건 모두 진짜 원인은 추출기였는데, 화살은 문서가 맞았습니다. 그리고 또 하나 — 등록 폴더에 선별 절차가 0건이었습니다. 이대로면 raw 폴더에 수백 개 파일이 쌓였을 때 무조건 파싱되어서 마구잡이로 축적하게 됩니다.
진행 방법
과거 프로젝트 문서들에 이미 비슷한 결정을 했던 사항들 찾아내어 반영
- 이중 타임스탬프 — "문서가 만들어진 날"과 "내용이 가리키는 시점"을 분리하는 규칙 (예: 4월 29일에 쓴 회고가 4월 22일 회의를 다룬다면, 날짜는 2개)
- 출처 3요소 — 모든 관계 기록에 누가(by)·언제(at)·어느 경로로(origin: 자동/큐레이션/수동)를 붙이는 형식
- staged→committed — "AI가 임시 반영 → 인간이 컨펌해야 정본"이라는 기존 2단계 상태
2. 2개짜리 상태를 9개짜리 생애주기로 늘리기
기존 상태(staged/committed)는 "평가 후" 구간만 커버했습니다. 지금 개선하는 부분은 그 전 단계입니다. 2종 게이트의 9개 상태 진단 과정을 추가했는데요
```
등록됨 ─[A-게이트: 선별]→ 선별됨 → 추출됨 ─[X-게이트: 충실성]→ 판정됨 → 임시반영 ─[인간 컨펌]→ 정본
├→ 탈락 (부적합 — 기록은 보존) └→ 격리 (추출 깨짐 — 품질검사 진입 금지)
└→ 보류 (나중에 다시 판단)
```
- **1) A-게이트(입장 심사)**: 형식 지원·중복 여부는 규칙으로 자동 판정, "위키에 넣을 자료인가"와 분류는 **인간이** 판정. 통과 못 하면 추출 자체가 없습니다. (나중에는 수집 후 분류도 자동으로 하게 될 예정)
- **2) X-게이트(추출 검문)**: 문항 수 대조, 보기 무결성, 원문 대비 커버리지 등 4종 검사. **실패하면 격리 상태 — 품질 점수 자체를 무효 처리**합니다. "문항 0개 사건"과 "보기 분할 사건"이 다시 일어나도, 이제는 품질 문제로 오진되는 경로가 구조적으로 막혀 있어요.
- **3) 정본 승격은 인간 전용**: 자동 전이 금지. 그리고 모든 상태 변화는 누가·언제·어느 게이트·판정과 함께 이력에 남습니다.
결과와 배운 점
### Before vs After
| 항목 | Before | After |
| ---------------- | ------------------------------- | ------------------------------------------------------------- |
| 소스 선별 절차 | 0건 (폴더에 넣으면 무조건 파싱) | A-게이트 검사 — 선별 안 되면 추출 없음 |
| 추출 오류 처리 | 품질 문제로 오진 (실사고 2건) | X-게이트 검사 — 실패 시 격리, 품질 점수 무효 |
| 생애주기 상태 | 2개 (임시반영/정본) | 9개 (등록→선별→추출→판정→임시반영→정본 + 탈락/보류/격리) |
| 이 단계 LLM 호출 | — | 0콜 (전부 규칙 기반) |
| 미결 사항 | 흩어진 논의 | U-리스트 6건 중 5건 확정, 1건은 절차 합의 |
### 결과물
스키마 문서 v0.1 한 편 — 상태 다이어그램, 게이트 검사표 8종, 소스 카탈로그 YAML 스키마, 수용 기준 3건(예: "선별되지 않은 소스는 추출되지 않는다"), 미결 회신 기록까지 포함.
나만의 위키를 만드는 일은 아무리 좋은 wiki 구조를 BM해도 어쩔 수 없이 한 땀 한 땀 수정해가야한다는 걸 몸소 느끼고 있습니다.



