정답지가 없는데, 2만 건을 어떻게 분류하고 믿었나
2026.08.11
분류 편 · 지식베이스 시리즈 중 하나입니다.
⚠ 먼저 밝혀둡니다. 이 글에는 "정확도 몇 퍼센트" 같은 문장이 없습니다. 22,019건을 유형과 주제로 나눴지만, 그 분류가 "맞았는지"를 잴 정답지가 없기 때문입니다. 가진 것은 정답지가 아니라 무너짐을 감지하는 장치뿐이었습니다. 그래서 이 글은 "얼마나 정확한가"가 아니라 "무엇을 믿을 수 있고 무엇은 못 믿는가"를 나누는 기록입니다. 수치는 모두 2026-08-11 실행 출력에서 왔습니다.
1. 시작은 "형식은 완벽한데 틀린 표"였습니다
수집한 글 22,019건을 그냥 쌓아두면 지식베이스가 아니라 창고입니다. 유형(사례·질문·후기…)과 주제(자동화·개발·글쓰기…)로 나눠야 꺼내 쓸 수 있습니다. 정답지가 없으니 언어 모델에게 맡기는 수밖에 없었는데, 첫 시도가 딱 이 작업에서 가장 위험한 실패를 보여줬습니다.
작은 모델에게 250건씩 묶어 분류를 맡겼더니, 결과가 형식은 완벽했습니다. 250줄이 정확히 나오고, 라벨도 그럴듯하고, 빈 칸도 없었습니다. 그런데 내용을 열어보니 요약이 원문의 첫 문장을 그대로 복사한 것이었고, 유형은 한쪽으로 쏠려 있었습니다. "나의 세컨드브레인 만들기"라는 명백한 사례 공유 글이 질문으로 분류돼 있었습니다.
이런 표가 가장 위험합니다. 22,019행이 빈틈없이 채워져 있으면, 검증 없이 믿게 되기 때문입니다. 분류가 없는 것보다, 그럴듯하게 틀린 분류가 더 나쁩니다.
2. 그래서 이번에 정한 질문 하나
"더 똑똑한 모델을 쓸까"가 아니었습니다. 질문은 이것이었습니다. 모델이 실제로 읽고 판단했는지, 읽지 않고 패턴으로 찍었는지를 어떻게 구분하는가. 형식만으로는 둘이 똑같아 보이니, 형식 아래를 보는 방법이 필요했습니다.
3. 사용한 개념과 도구 — 세 개의 고정점
밖에서 보면 이 시스템에 들어오는 것은 글 22,019건이고, 나가는 것은 각 글에 붙은 유형·주제·한 줄 요약입니다. 그 사이를 세 개의 고정점이 지탱합니다. 첫째는 라벨을 파일로 박은 고정 분류표, 둘째는 한 번에 40건만 다루는 작은 배치, 셋째는 만든 쪽이 아닌 다른 쪽이 검사하는 분리입니다.
분류표 글 40건 묶음 → 고정 라벨로 판정 → 유형·주제·요약 → 40건 다 찼는가
검사 분류 결과 → 규격·중복·탈락 확인 → 통과분만 병합 → 계수가 맞는가
병합 통과분 전체 → 오타 라벨 되돌림 → 최종 분류 파일 → 입력=병합인가4. 실제로 만든 것 — 기능 세 개와, 그 기능이 막는 실패
① 라벨을 파일 하나에 박았다 — 수백 명이 제각기 라벨을 지어내던 것을 막는다
배치가 40건이면 22,019건을 나누는 데 수백 번의 분류가 필요합니다. 각 분류가 라벨을 스스로 지어내면, 같은 뜻인데 표현만 다른 라벨이 수백 종 생깁니다. 그래서 유형 일곱 가지와 주제 열다섯 가지를 규칙표 파일에 못 박고, 모든 분류가 그 파일을 먼저 읽고 그 안에서만 고르게 했습니다. 목록 밖의 라벨을 만들지 말라고 명시했습니다. 이 하나로 라벨의 난립을 막았습니다.
② 배치를 40건으로 고정하고 한 번에 처리했다 — 큰 배치에서 판단이 무너지던 것을 막는다
배치 크기를 실험으로 정했습니다. 40건은 원문 복사 없이 라벨이 고르게 나왔습니다. 100건은 처리 중 멈춰서 출력이 하나도 안 나왔습니다. 250건은 완주하지만, 앞서 본 대로 요약이 원문 복사로 무너지고 유형이 한쪽으로 쏠렸습니다. 200건을 40건씩 다섯 번에 나눠 한 자리에서 처리하게 해봤더니, 두 번째 회차부터 목록에 없는 라벨을 지어내기 시작하고 마지막 회차에서는 레코드 하나를 통째로 빠뜨렸습니다. 한 자리에서 회차를 거듭하면 지시가 흐려지는 것이었습니다. 그래서 한 분류가 딱 40건만, 한 번의 판단으로 끝내게 고정했습니다.
③ 오타 라벨을 되돌리되 애매하면 남겼다 — 정상 분류가 병합에서 탈락하던 것을 막는다
수백 번의 분류를 합치니 라벨에 오타가 섞였습니다. "사례공유"를 "사례공여"로 쓴 것 같은 것입니다. 이것을 버리면 정상 분류가 병합에서 조용히 탈락합니다. 그래서 글자 겹침이 압도적일 때만 가장 가까운 정식 라벨로 되돌리게 했습니다. "사례공여"는 되돌리고, 두 라벨을 뭉갠 "콘텐츠·마케팅" 같은 것은 추측하지 않고 결함으로 남겼습니다. 되돌릴 수 있는 것만 되돌리고, 애매한 것은 사람에게 넘깁니다.
5. 지금까지 관찰된 결과 (실측 · 명령을 같이 적습니다)
배치 크기 실험 결과입니다. 각 값은 실제 실행 출력에서 왔습니다.
| 배치 크기 | 결과 | 원문 복사 |
|---|---|---|
| 40건 | 완주 · 라벨 정상 분산 | 0 / 40 |
| 100건 | 멈춤 · 출력 0 | 측정 불가 |
| 200건(40×5회) | 2회차부터 없는 라벨 · 레코드 유실 | — |
| 250건 | 완주하나 라벨 붕괴 | 25 / 40 |
완성된 분류 전체의 지표입니다. 정확도가 아니라 무너짐을 재는 대리 지표입니다.
| 항목 | 값 | 어떻게 확인했나 |
|---|---|---|
| 분류한 글 | 22,019건 | 최종 분류 파일 wc -l |
| 규격 밖 유형 | 0.08% | 규격 검사 출력 |
| 규격 밖 주제 | 0.08% | 규격 검사 출력 |
| 요약 원문 복사 | 0.35% | 15자 대조 |
| 유형 판정 일치 | 35 / 40 | 같은 40건 두 번 독립 실행 |
| 주제 판정 일치 | 24 / 40 | 같은 40건 두 번 독립 실행 |
마지막 두 줄이 이 글에서 가장 중요합니다. 같은 40건을 두 번 독립으로 분류시켰을 때, 유형은 40건 중 35건이 같은 판정으로 돌아왔지만 주제는 24건뿐이었습니다. 유형은 안정적이고 주제는 흔들린다는 뜻입니다. 이 차이를 재두지 않았다면 둘을 똑같이 믿었을 것입니다.
6. 따라 해보고 싶으시면 — 가장 작은 형태부터
정답지가 없는 분류를 믿을 만하게 만드는 최소 형태는 이렇습니다.
- 라벨 목록을 먼저 고정합니다. 유형 대여섯, 주제 열 몇 개면 충분합니다. 모델이 이 목록 밖을 만들지 못하게 합니다.
- 배치를 작게 잡습니다. 큰 배치가 빠르지만, 모델이 읽는 대신 찍기 시작하는 지점이 있습니다. 작은 표본으로 그 지점을 먼저 찾습니다.
- 같은 표본을 두 번 독립으로 돌려 일치율을 봅니다. 일치율이 낮은 축은 참고값으로 내리고, 확실한 분류가 필요하면 사람이 붙인 값(태그·게시판)을 씁니다.
- 라벨 밖의 값과 빠진 값을 세는 검사를 병합 앞에 겁니다. 형식이 완벽해도 그 아래가 무너졌는지는 이 검사만 압니다.
7. 판정은 네 가지로 나누십시오 (두 가지로는 부족합니다)
분류를 "쓸 만하다/아니다"로 끊으면, 참고만 해야 할 것이 확정된 것으로 넘어갑니다.
PASS 독립 실행 일치율이 높고 규격 밖 라벨이 없다 (유형이 여기)
PASS_WITH_NOTE 값은 있으나 일치율이 낮아 참고값이다 (주제가 여기)
HOLD 판정 자체를 미뤄둔 것 (사람 합치도 측정 전)
FAIL 형식은 맞으나 내용이 무너졌다 (250건 배치가 여기)이 시리즈의 분류는 유형이 PASS, 주제가 PASS_WITH_NOTE 입니다.
8. 한계와 대가 (얻은 것 옆에 잃은 것)
작은 배치로 신뢰를 얻은 대신 분명히 잃은 것이 있습니다.
배치가 40건이라 22,019건을 나누는 데 수백 번의 분류가 들었습니다. 큰 배치 한 번이면 끝날 일을 수백 번 반복하는 비용을 치른 것입니다. 큰 배치가 무너진다는 것을 실험으로 확인하지 않았다면 이 비용을 감수하지 않았을 것이고, 그랬다면 형식만 완벽한 표를 얻었을 것입니다.
주제 분류는 참고값입니다. 독립 실행 일치율이 40건 중 24건이라, 폴더 구조로 굳히면 나중에 되돌리기 어렵습니다. 그래서 산출물에 "주제는 참고값이고, 확실한 분류가 필요하면 사람이 붙인 태그와 게시판을 쓰라"고 적어두었습니다. 이 정직한 표기가 없으면 흔들리는 값이 확정된 값처럼 보입니다.
그리고 큰 배치 설계를 버렸습니다. 250건 배치는 빠르고 완주하지만, 요약이 원문 복사로 무너지고 유형이 한쪽으로 쏠렸습니다. 200건을 나눠 처리하는 절충도 시도했다가 버렸습니다. 회차가 거듭될수록 없는 라벨을 지어냈기 때문입니다. 버린 설계가 아깝지 않았던 것은, 버리는 근거를 매번 표본으로 쥐고 있었기 때문입니다.
마지막으로 자랑하지 않겠습니다. 이 분류가 "사람이 봐도 맞다"고 말하려면 사람이 라벨한 평가셋과 대조해야 하는데, 그 대조는 아직 미실행입니다. 지금 가진 것은 무너짐을 재는 대리 지표뿐이고, 사람 합치도는 재지 않았습니다. 그러니 "정확하다"가 아니라 "무너지지 않았다"까지만 말할 수 있습니다.
9. 결론 — 가져가실 규칙 세 개
첫째, 형식이 완벽한 것과 내용이 맞는 것은 다릅니다. 22,019행이 빈틈없이 채워져 있으면 검증 없이 믿게 됩니다. 형식 검사를 통과했다고 내용을 검사했다고 착각하지 마십시오. 이 둘은 서로 다른 방법으로 확인해야 합니다.
둘째, 정답지가 없으면 일치율을 정답지 대신 쓰십시오. 같은 것을 두 번 판단시켜 얼마나 같은 답이 나오는지 보면, 어느 축이 안정적이고 어느 축이 흔들리는지 알 수 있습니다. 흔들리는 축은 참고값으로 내리는 것이 정직합니다.
셋째, 모델이 읽지 않고 찍는 지점은 배치 크기에 있습니다. 큰 배치가 빠르지만, 어느 크기부터 모델이 판단 대신 패턴으로 넘어갑니다. 그 지점을 작은 표본으로 먼저 찾고, 그 아래에서 작업하십시오. 속도를 조금 잃고 신뢰를 얻습니다.
10. 참고
이 글에서 "같은 것을 두 번 판단시켜 일치율을 본다"는 방식은 라벨링 품질을 재는 흔한 방법(inter-annotator agreement)의 작은 형태입니다. 고정 라벨표를 먼저 정하고 그 안에서만 고르게 하는 것은 분류 작업의 기본 규율이며, 자유 서술 라벨을 허용할 때 생기는 난립을 막습니다.



