새 자료를 넣었더니 옛 자료가 틀리기 시작했다

부제: AI 지식베이스에 ‘유효기간’과 ‘편집 판정’을 붙여본 일주일

📝 바쁘면 이것만

공식 가이드가 개정됐습니다. 새 PDF를 지식베이스에 넣는 건 어렵지 않았습니다. 문제는 그다음이었습니다.

구판도 검색되고 신판도 검색되면 AI는 둘 중 무엇을 따라야 할까요? 커뮤니티 답변에 기준서 문단이 하나 달려 있다면 믿어도 될까요?

이번에는 자료를 더 모으지 않았습니다. 대신 자료마다 상태를 붙였습니다.

• 최신 공식 자료는 CURRENT

• 구판은 삭제하지 않고 HISTORICAL

• 근거가 약한 답변은 HOLD

• 원문 대조를 통과한 보강본만 LEARN

제가 이번 주에 만든 것은 새 지식베이스가 아니라, 이미 있는 지식을 계속 믿어도 되는지 판정하는 운영 규칙이었습니다.

🎯 이런 분께 추천합니다

• 같은 주제의 구판과 신판이 함께 쌓여 있는 분

• 공식 문서와 커뮤니티 답변을 한 지식베이스에서 쓰는 분

• 자료를 지우자니 아깝고, 남기자니 AI가 헷갈릴까 걱정되는 분

• RAG에 문서를 넣는 기준보다 빼거나 보류하는 기준이 더 어려운 분

😫 새 문서를 넣는 순간, 구문서가 위험해졌습니다

이번 주에 금융감독원의 2026년 XBRL 작성 가이드를 업데이트했습니다.

• 2025년판: 366페이지

• 2026년판: 420페이지

• 증가분: 54페이지

새 판에는 무형자산과 투자부동산 작성 사례가 들어왔고, 정부보조금과 연구개발비 관련 내용도 보강됐습니다. 다른 표준 주석의 표를 가져다 쓰는 원칙도 달라졌습니다.

처음에는 새 PDF를 정리해서 기존 폴더에 넣으면 끝이라고 생각했습니다. 그런데 구판 노트에는 구판 페이지 번호와 예전 작성 원칙이 그대로 남아 있었습니다.

예를 들어 사용자가 “유형자산 주석 작성 원칙을 알려줘”라고 물었을 때, 구판과 신판이 함께 검색되면 둘 다 그럴듯한 답이 됩니다. 틀린 문서가 들어온 게 아닙니다. 맞았던 문서가 시간이 지나면서 위험해진 것입니다.

여기서 삭제는 쉬운 해결처럼 보였습니다. 하지만 구판에는 당시 판단의 근거와 변경 이력이 남아 있습니다. 없애면 왜 규칙이 바뀌었는지 추적할 수 없습니다.

그래서 삭제 대신 역할을 바꿨습니다.

2026년판 = 현재 정본
2025년판 = 역사 자료
구판 페이지 = 최신 답변에 사용 금지
구판 노트 = 2026년 정본으로 연결

구판 첫머리에는 페이지 번호를 최신판에 그대로 쓰면 안 된다는 경고를 붙였습니다. 새 판에는 구판과 무엇이 달라졌는지 별도로 정리했습니다.

문서는 그대로 두되, 현재 답변에서 누가 우선권을 갖는지 정한 셈입니다.

🛠️ PDF 한 권이 아니라 배포 묶음 전체를 봤습니다

공식 업데이트는 PDF 한 파일로 끝나지 않았습니다.

같은 날 배포된 자료를 묶어서 확인했습니다.

• 2026년 작성 가이드 420페이지

• 주석별 개정 비교표

• 개정 택사노미

• 작성 프로그램에서 열 수 있는 공식 사례 파일

마지막 사례 파일이 특히 유용했습니다. 주석 서식 170개와 요소 18,033개가 들어 있었고, 자체 확장 요소는 117개뿐이었습니다. 전체의 0.65%였습니다.

가이드에는 “표준 요소를 우선하라”고 적혀 있습니다. 사례 파일은 실제로 어디까지 표준 요소로 처리했는지를 보여줬습니다. 설명서와 실물 정답지를 함께 본 셈입니다.

이 둘을 연결하니 단순 요약보다 쓸모 있는 규칙이 나왔습니다.

표준 표가 있는데 새 표를 만들지 않는다. 기업 고유명이나 표준에 없는 세부 구분처럼 정말 필요한 경우에만 확장한다.

문서 제목만 저장했으면 얻지 못했을 규칙입니다. 공식 설명과 실제 작성 사례를 한 묶음으로 봐야 해석이 단단해졌습니다.

🔧 기준서 번호가 있다고 믿을 만한 답은 아니었습니다

두 번째 사례는 커뮤니티 Q&A였습니다.

한 답변이 주식병합 관련 비용의 회계처리를 설명하면서 기준서 문단을 인용했습니다. 출처가 있으니 얼핏 믿을 만해 보였습니다. 하지만 인용한 문단에서 실제 거래의 결론으로 넘어가는 과정이 너무 빨랐습니다.

자동 검토 결과는 신뢰도 2/5였습니다. 바로 학습시키지 않고 HOLD로 돌렸습니다.

제가 다시 확인한 것은 네 가지였습니다.

1. 인용한 기준서 문단이 실제로 존재하는가

2. 문단 내용이 답변의 주장과 일치하는가

3. 거래를 하나로 뭉뚱그리지 않았는가

4. 반대되는 공식 질의회신이나 예외가 있는가

원문을 대조하니 “주식병합”이라는 이름만으로 하나의 결론을 낼 수 없었습니다.

• 주식 수와 액면만 조정하는 관리적 재구성인지

• 실제 감자나 단주 취득·소각이 결합된 자본거래인지

이 둘은 비용 처리 판단이 달라질 수 있었습니다. 원답변의 일부는 살리고, 빠진 경계를 추가했습니다. 기준서 여러 문단과 공식 질의회신도 다시 연결했습니다.

그 결과 신뢰도는 2에서 4로 올라갔고, 상태는 HOLD에서 LEARN으로 바뀌었습니다.

여기서 중요한 건 점수 상승이 아니었습니다. 원문 답변을 덮어쓰지 않고, 어디가 부족했고 무엇을 보강했는지 함께 남긴 것입니다.

🔧 HOLD는 실패함이 아니었습니다

처음에는 상태를 두 개만 두려 했습니다.

학습 / 제외

막상 운영해보니 이 둘만으로는 부족했습니다.

근거는 약하지만 질문 자체는 좋은 자료가 있습니다. 현업 맥락은 살아 있는데 답변만 부실한 경우도 있습니다. 이런 자료를 버리면 다시 찾기 어렵고, 그대로 넣으면 AI가 부실한 결론까지 배웁니다.

그래서 중간 상태를 만들었습니다.

이 표를 만들고 나니 “왜 이 자료는 검색되는데 답변 근거로 쓰지 않지?” 같은 질문에도 답할 수 있었습니다. 파일의 존재와 사용 허가를 분리했기 때문입니다.

✅ 달라진 것은 자료 수가 아니라 판단 가능성이었습니다

자료 개수는 크게 중요하지 않았습니다. 대신 각 자료에 대해 다음 질문에 답할 수 있게 됐습니다.

• 지금도 유효한가?

• 어떤 자료가 이 자료를 대체했는가?

• 사실인가, 해석인가, 의견인가?

• 답변에 써도 되는가?

• 보류됐다면 무엇이 부족한가?

이 다섯 가지가 붙으니 지식베이스가 문서 보관함에서 검토 가능한 기록으로 바뀌었습니다.

💬 이번에 배운 것

최신판을 추가하는 것만으로는 최신화가 끝나지 않습니다

신판을 넣었으면 구판의 역할도 바꿔야 합니다. 그렇지 않으면 검색 결과에 두 시대의 규칙이 나란히 나타납니다.

출처의 존재와 결론의 타당성은 별개입니다

실재하는 기준서 문단을 인용해도 적용 과정이 틀릴 수 있습니다. 인용 검사는 “그 문장이 있나”에서 끝나면 안 됐습니다. “이 사례에 그 문장을 적용해도 되나”까지 봐야 했습니다.

버리지 않고 보류하는 편이 나은 자료가 있습니다

질문과 현업 맥락은 좋지만 답변 근거가 약한 자료가 그렇습니다. HOLD는 쓰레기통이 아니라 재취재 목록에 가까웠습니다.

🌍 다른 업무에 옮긴다면

사내 규정은 시행일과 폐지일을 붙여 구·신 규정을 나눌 수 있습니다. 고객지원 답변은 실제 해결 여부와 공식 정책 근거를 확인한 뒤 학습시킬 수 있습니다. 개발 문서는 버전별로 적용 범위를 표시하면 구버전 예제가 최신 코드에 섞이는 일을 줄일 수 있습니다.

분야가 달라도 운영 질문은 비슷합니다.

이 문서는 존재하는가가 아니라, 지금 이 질문에 사용해도 되는가?

📋 재사용 프롬프트

이 자료를 지식베이스에 바로 넣지 말고 편집 판정을 해줘.

1. 같은 주제의 최신판·구판·대체 자료를 찾는다.

2. 자료의 발행일, 적용 시점, 출처를 확인한다.

3. 내용을 사실·해석·의견으로 구분한다.

4. 공식 원문과 대조해 인용의 존재와 적용의 타당성을 따로 검사한다.

5. CURRENT, HISTORICAL, HOLD, LEARN, REJECT 중 하나로 판정한다.

6. 구판은 삭제 여부보다 최신 정본과의 연결 방법을 먼저 제시한다.

7. HOLD라면 부족한 근거와 보강 방법을 적는다.

8. 최종적으로 무엇을 답변 근거로 허용할지 한 줄로 정리한다.

이번 주에 추가한 자료보다 더 중요한 것은 자료 사이의 우선순위였습니다.

AI가 틀린 문서를 읽어서만 틀리는 건 아니었습니다. 한때 맞았던 문서를 지금도 맞는 것처럼 읽을 때도 틀렸습니다. 그래서 지식베이스에는 출처뿐 아니라 상태와 적용 시점이 필요했습니다.