연구서베이 편 두 번째 · 에이전트 하네스 시리즈 중 하나입니다.
⚠ 먼저 밝혀둡니다. 이 글의 주인공은 서베이가 아니라 문턱입니다. 에이전트가 쓴 서베이 초안이 지식베이스의 정본으로 올라가기 직전, 사실 검증이 그 초안에서 오류 2건을 잡았습니다. 초안을 쓴 것은 저였고, 오류를 낸 것도 저였습니다. 그 문턱이 없었으면 틀린 문장 두 개가 정본이 되어 이후 모든 작업이 그 위에 쌓였을 것입니다. 수치는 run 폴더와 원장 파일에서 왔습니다.
1. 시작은 "정본에 아무나 쓸 수 있으면 정본이 아니다"였습니다
연구 조사를 에이전트에게 맡기면 산출물이 빨리 쌓입니다. 문제는 그 산출물이 어디로 가느냐입니다. 조사 결과를 지식베이스에 바로 쓰게 하면, 검증 안 된 문장이 정본 행세를 합니다. 정본의 힘은 "여기 있는 것은 확인된 것"이라는 믿음인데, 쓰는 길이 여러 개면 그 믿음이 성립하지 않습니다.
실제로 위험은 초안 품질이 아니라 초안의 확신에 있었습니다. 서베이 초안은 문장이 매끈하고 인용이 달려 있어 통과될 것처럼 보입니다. 그런데 이번에 제가 쓴 초안에는 선행 연구 하나를 실제보다 강한 관계로 단정한 문장과, 남아 있는 연구 공백 하나를 "부재"라고 잘못 단언한 문장이 들어 있었습니다. 둘 다 읽어서는 태가 안 나는 오류였습니다.
2. 그래서 이번에 정한 질문 하나
"초안을 더 잘 쓰게 하자"가 아니었습니다. 질문은 이것이었습니다. 정본으로 가는 길을 몇 개로 둘 것인가. 답은 하나였습니다 — 승격 도구 하나만 정본에 쓸 수 있고, 그 도구는 사실 검증을 통과한 산출물만 받으며, 사람의 승인 없이는 실행되지 않습니다. 편집기로 정본을 직접 고치는 것은 금지입니다.
3. 사용한 개념과 도구 — 단계 사이의 문턱들
밖에서 보면 이 시스템에 들어오는 것은 조사 주제 하나이고, 나가는 것은 지식베이스에 승격된 정본 문서와 아이디어 원장의 판정 줄들입니다. 각 단계 사이에 문턱이 있고, 문턱마다 통과 조건이 다릅니다.
집필 논문 15편 → 서베이 초안 작성 → 초안 1벌 → 인용이 달렸는가
검증 초안의 주장 → 다른 좌석이 원문 대조 → 교정 목록 → 원문이 지지하는가
승격 교정된 초안 → 승격 도구·사람 승인 → 정본 커밋 → 대조 후 승인했는가
원장 아이디어 후보 → 세 렌즈 채점 → 판정 줄 추가 → 기준을 넘는가4. 실제로 만든 것 — 기능 세 개와, 그 기능이 막는 실패
① 정본 쓰기를 승격 도구 하나로 좁혔다 — 검증 안 된 문장이 정본 행세하는 것을 막는다
지식베이스의 정본 구역은 편집기로 직접 수정하지 못합니다. 승격 도구가 유일한 쓰기 경로이고, 실행 전에 미리보기로 바뀔 내용의 차이를 보여준 뒤 사람이 승인해야 실제로 씁니다. 초안이 아무리 완성돼 보여도 이 길 밖으로는 정본에 닿을 수 없습니다. 쓰는 길이 하나면, 그 길목 하나만 지키면 됩니다.
② 승격 전에 다른 좌석이 초안의 사실을 대조했다 — 저자의 확신이 정본이 되는 것을 막는다
초안을 쓴 세션이 아닌 다른 좌석이, 승격 직전에 초안의 주장을 원문과 대조합니다. 이번 첫 run에서 이 좌석이 제 초안의 오류 2건을 잡았습니다. 하나는 선행 연구를 "직계 선례"로 과단정한 것, 하나는 연구 공백을 "부재"로 잘못 단언한 것입니다. 두 문장 모두 교정된 뒤에야 승격이 진행됐습니다. 저자는 자기 문장의 확신을 의심하지 못합니다 — 그래서 의심은 다른 좌석의 일입니다.
③ 탈락 대신 보류를 원장에 남겼다 — 근거 부족이 영구 탈락으로 굳는 것을 막는다
아이디어 후보는 세 렌즈(새로움·실현성·파급)로 채점되고, 통과 문턱을 못 넘으면 원장에 보류로 적힙니다. 보류 줄에는 무엇이 채워지면 재평가되는지 조건이 함께 적힙니다. 이번 원장 10줄 중 9줄이 보류, 1줄이 기각입니다. 기각은 제약 위반이나 중복처럼 조건이 채워질 수 없는 경우에만 씁니다. 근거가 부족한 것과 틀린 것을 같은 칸에 넣으면, 나중에 근거가 생겨도 되살릴 길이 없습니다.
5. 지금까지 관찰된 결과 (실측 · 명령을 같이 적습니다)
첫 run과 원장의 계수입니다. 원장은 한 줄이 한 판정이라 wc -l로 셌습니다.
wc -lwc -l첫 아이디어 후보의 채점은 세 렌즈 만장일치로 새로움 3, 실현성 3, 파급 4였습니다. 문턱(실현성 4 이상, 새로움+파급 6 이상)에 못 미쳐 보류됐고, 원장에는 재평가 조건 — 같은 예산으로 조건만 바꾼 대조 실험 설계 — 이 함께 적혔습니다. 점수가 아깝다고 문턱을 내리는 대신, 문턱은 그대로 두고 조건을 남기는 쪽을 택했습니다.
6. 따라 해보고 싶으시면 — 가장 작은 형태부터
에이전트 산출물을 지식베이스에 쌓을 때의 최소 형태는 이렇습니다.
- 정본 폴더를 정하고, 에이전트의 직접 쓰기를 금지합니다. 승격 절차 하나만 그 폴더에 쓸 수 있게 합니다.
- 승격 직전에 초안을 안 쓴 세션이 주장 대 원문 대조를 합니다. 특히 "X가 Y의 직계 선례다", "이 주제는 연구가 없다" 같은 강한 관계·부재 단정을 골라 봅니다.
- 탈락에 두 어휘를 씁니다. 조건이 채워지면 되살아나는 보류와, 되살아날 수 없는 기각입니다. 보류에는 재평가 조건을 반드시 적습니다.
7. 판정은 네 가지로 나누십시오 (두 가지로는 부족합니다)
승격을 "올린다/안 올린다"로만 보면, 교정하면 되는 초안과 버려야 하는 초안이 같은 칸에 들어갑니다.
PASS 대조를 통과해 승격됐다 (교정 반영 후의 서베이가 여기)
PASS_WITH_NOTE 승격하되 검증 좌석의 단서가 달렸다 (단일 벤더 폴백 딱지가 여기)
HOLD 근거 부족 보류. 재평가 조건이 원장에 적힌다 (원장 9줄이 여기)
FAIL 제약 위반·중복 — 조건이 채워질 수 없다 (원장 1줄이 여기)8. 한계와 대가 (얻은 것 옆에 잃은 것)
길을 하 나로 좁힌 대신 분명히 잃은 것이 있습니다.
느립니다. 오탈자 하나를 고치는 데도 승격 절차를 다시 밟아야 합니다. 정본의 신선도가 초안보다 항상 뒤처지는 대가를 치릅니다. 그리고 사람 승인이 길목에 있어서 완전 무인으로는 돌지 않습니다 — 이것은 버그가 아니라 선택이지만, 자동화 관점에서는 잃은 것이 맞습니다.
아이디어 추출은 예산(최대 10건)을 채우지 않고 1건만 정밀하게 시도했습니다. 나머지 논문에서 뽑을 수 있었던 후보들은 아직 원장에 없습니다. 품질을 앞세워 폭을 버린 것인데, 그 폭이 얼마나 아까운 것이었는지는 재보지 않아 모릅니다.
병렬 실행으로 만든 리뷰 원문 텍스트 일부에 한글 인코딩 깨짐이 남았습니다. 판정 결론은 원장과 문서 머리에 정상 텍스트로 별도 기록돼 안전하지만, 리뷰 원문 자체는 사람이 읽기 어려운 상태입니다. 검증의 결론은 지켰고 검증의 과정 기록 일부를 잃은 셈입니다.
그리고 "승격 후 검증" 설계를 버렸습니다. 일단 올리고 나중에 검사하는 쪽이 빠르지만, 정본에 머무는 동안 틀린 문장이 인용되는 것을 막을 수 없습니다. 승격 문턱이 병목이 되는 대가를 알고도 문턱 쪽을 택했습니다.
사람 합치도는 미실행입니다. 보류 9건이 사람 연구자의 눈에도 보류감인지는 재지 않았습니다. 문턱의 숫자(실현성 4, 새로움+파급 6)도 첫 run의 선례일 뿐 검증된 상수가 아닙니다.
9. 결론 — 가져가실 규칙 세 개
첫째, 정본으로 가는 길을 하나로 좁히십시오. 쓰는 길이 하나면 지킬 길목도 하나입니다. 에이전트가 산출물을 아무리 빨리 만들어도, 정본의 믿음은 길목에서 만들어집니다.
둘째, 저자의 확신은 다른 좌석이 의심하게 하십시오. 제 초안의 오류 2건은 제가 다시 읽어서는 못 잡았을 것입니다. 확신 위에 쓴 문장은 저자에게 가장 자연스럽게 읽히기 때문입니다.
셋째, 탈락에 보류와 기각 두 어휘를 쓰십시오. 재평가 조건이 적힌 보류는 자산이고, 조건 없는 탈락은 손실입니다. 원장에 남긴 보류 9줄은 다음 run이 어디서 시작해야 하는지를 알려주는 지도가 됐습니다.
10. 참고
정본 구역에 단일 쓰기 경로를 두고 승인을 요구하는 것은 소프트웨어의 보호 브랜치와 코드리뷰 관문을 지식베이스에 옮겨 적은 것입니다. 승격 전 사실 대조는 출판 전 팩트체킹의 자리 옮김이고, 보류에 재평가 조건을 남기는 것은 심사의 "재제출 권고"에 해당합니다. 모두 사람의 제도에서 빌려 에이전트 배치로 바꾼 것입니다.
