투고 준비 중이던 논문에 "리뷰 11,935건을 수집했다"고 적혀 있었어요. 그런데 11,935 는 CSV 파일의 라인 수였습니다. 리뷰 안에 든 줄바꿈까지 센 숫자였죠. 실제는 8,250건이었고요.
더 서늘한 건 이 문장이 인용검증을 세 번 통과했다는 겁니다. 자체 데이터 수치는 "인용 불필요"로 분류되니 아무도 안 본 거예요. 3개월을 그대로 있었습니다.
정작 제 폴더 어딘가엔 정확한 건수를 계산한 스크립트가 있었어요. 지식이 없어서가 아니라, 있는데 꺼내 보지 않아서 난 사고였습니다.
PKM은 쌓기가 아니라 꺼내기예요
마침 과제가 "워크스페이스에 PKM(개인 지식 관리) 붙이기"였습니다. 만들기 전에 제 폴더를 실제로 세어봤어요.
옵시디언 노트 1,028개 · AI 메모리 114개 · 자동화 스킬 104개 · 규칙 문서 4계층
이미 있었습니다. 그것도 꽤 큰 게요. 문제는 꺼내는 쪽이었어요. 자동화 다섯 개가 전부 새벽 3시 20분, 3시 30분, 7시에 정해진 시각에 밀어주는 방식이었고, "내가 지금 막혔을 때 물어보는" 통로는 하나도 없었습니다.
그래서 새 시스템을 짓는 대신 그 한 칸만 만들었어요. 옵시디언·AI 메모리·작업 문서 2,841건을 한 질문으로 훑고, 파일 이름 대신 원문 한 조각 + 경로 + 날짜를 돌려주는 검색기입니다. 질의 하나에 0.4초.
중요한 건 AI가 스니펫만 보고 답하지 못하게 막은 거예요. 상위 결과는 반드시 원문을 열어 확인하고, 못 찾으면 지어내지 말고 "미적립"이라고 말하게 했습니다.
제일 크게 배운 것
"잘 되는 것 같다"로 끝내기 싫 어서 정답을 미리 확인해둔 질문 7개로 채점했어요. 1위 적중 6/7, 근거 제시 100%.
그런데 여기서 멈췄으면 큰일 날 뻔했습니다. 100% 통과한 뒤에 정답을 모르는 질문 하나를 툭 던져봤더니 8위가 나오더라고요. 파고드니 버그가 셋이었습니다. 한국어 어미가 원형과 매칭이 안 되고, 메모리 파일 제목을 파서가 통째로 버리고 있었고, 문서에 깔린 .com 때문에 핵심어가 불용어로 걸러지고 있었어요.
정답을 모르는 질문 1개가, 정답을 아는 질문 7개보다 많이 잡았습니다.
지금은 이렇게 씁니다
특별한 문법 없이 그냥 물어봐요.
"이 사이트 크롤링 헤드리스로 되나" → 몇 달 전 막혔던 기록이 나옵니다. 차단되니까 실제 브라우저를 써야 한다고
"신청서에 전문분야 뭐로 적지" → 예전에 제가 정해둔 1순위가 나와요
어제는 새 논문 분석법을 고민하다 물었는데, 이틀 전에 제가 만들어 둔 설계 문서를 꺼내주더라고요. 12개 안을 비교해 결론까지 내둔 건데 잊고 있었어요. 다시 짜는 대신 그걸 그대로 썼습니다.
마무리
PKM은 새 앱을 깔거나 새로 정리하는 게 아니었어요. 이미 쌓인 걸 꺼낼 수 있게 만드는 것이었습니다. 저는 다 갖고 있었는데 뒷문이 없었을 뿐이에요.
노트가 몇 백 개 쌓였는데 안 열어보고 계신다면, 정리부터 하지 마시고 꺼내는 쪽부터 붙여보세요. 정리는 끝이 없지만 꺼내기는 하루면 됩니다.
도움받은 자료 : 23기 AI결과물검수 엔지니어H, 리히토님 자료
