1. 3단계 지식체계론의 구체적 검증을 위한 테스트용 LLM-WIKI 구축
이제 llm-wiki-test1을 통해 3단계 지식체계론을 검증하고자 한다.
먼저 llm-wiki-PRD.md 파일을 통해 llm 위키를 구축한다.
현재 D:\03Gpters\llm-wiki-test1\llm-wiki-PRD.md에 위치한다.
D:\03Gpters\llm-wiki-test1\llm-wiki-PRD.md 문서를 읽고 이 문서의 내용에 따라 llm wiki를 만들어줘완료했습니다. 생성/수정 위치는 전부 D:\03Gpters\llm-wiki-test1\llm-wiki 안입니다. D:\03Gpters\research_harness는 원본 자료 확인용으로 읽기만 했고 쓰지 않았습니다.
주요 산출물은 다음입니다.
- llm-wiki/index.md: 전체 목차
- llm-wiki/sources/source-index.md: Source ID 관리
- llm-wiki/schema/AGENTS.md: LLM 작업 규칙
- llm-wiki/wiki/overview.md: LLM Wiki 전체 개요
- llm-wiki/wiki/workflows/newsletter-production-harness.md: 뉴스레터 Harness 루프
총 37개 파일을 만들었고, PRD의 Phase 1과 Phase 2 초기 인입 범위까지 반영했습니다. 초기 Source 요약은 SRC-000부
터 SRC-007까지 들어가 있고, 뉴스레터 제작은 입력 스키마, 개선 프롬프트, 품질 체크리스트로 분리했습니다.
검증도 했습니다. index.md의 Obsidian 링크 누락 없음, wiki/ 문서 frontmatter 누락 없음, source_refs의 Source ID 미등록 참조 없음으로 확인됐습니다. 이렇게 llm-wiki 시험판이 생성되었다.
여기에 3단계 지식체계론의 schema를 설정하고자 한다.
› D:\03Gpters\llm-wiki-test1\llm-wiki\정보가 지식으로서 LLM Wiki에 편입되기 위한 3단계 검증 요건.md 파일을 읽고 여기에서 구현하고자 하는 3단계 지식체계론을 본 llm wiki의 schema에 구현해줘그렇게 하자 llm이 반환한 결과는 다음과 같다.
완료했습니다. 작업은 모두 D:\03Gpters\llm-wiki-test1\llm-wiki 안에서만 했습니다.
구현 핵심은 3단계 지식체계론을 무거운 전면 강제 규칙이 아니라, 공식 지식 편입 후보에 적용하는 얇은 admission schema로 넣은 것입니다.
주요 추가/수정 파일:
- llm-wiki/schema/knowledge-admission.md: 3단계 지식체계론 본 schema - llm-wiki/schema/claim-template.md: claim 단위 검토 템플릿
- llm-wiki/schema/AGENTS.md: Ingest/Query/Lint에 3단계 검증 규칙 반영
- llm-wiki/schema/page-template.md: knowledge_review frontmatter 추가
- llm-wiki/schema/lint-checklist.md: 확증가능성/answer_policy 점검 항목 추가
- llm-wiki/wiki/concepts/three-stage-knowledge-system.md: 이론 요약 문서
- llm-wiki/wiki/reviews/knowledge-review-log.md: 지식 편입 심사 이력
- llm-wiki/wiki/reviews/contradiction-register.md: 충돌 claim 등록부
- llm-wiki/wiki/reviews/weak-confirmability-register.md: 확증가능성 약한 claim 등록부
또 원문을 SRC-008로 llm-wiki/sources/source-index.md에 등록했고, llm-wiki/index.md와 llm-wiki/log.md도 갱신했습니다.
검증 결과 index.md 링크 누락 없음, source_refs 미등록 Source ID 없음, wiki/ 문서 frontmatter 누락 없음으로 확인했습니다. 지식유형론 부분은 원문에서도 별도 이론으로 예고되어 있어서 이번 구현에는 넣지 않고 3단계 지식체계론만 반영했습니다. 이렇게 3단계 지식체계론이 llm wiki에 반영됐다. 이제 ingest, query, lint를 통해 이 스키마가 제대로 작동하는지 살펴보면 된다.
그런데 문제가 생겼다. 나의 원자료가 어떤 폴더에 있어야 하는지를 설정하지 않은 것이었다. 그래서 나의 raw material이 어디에 위치해야 ingest가 될 수 있는지를 mermaid나 ASCII그램과 같은 시각적 자료로 표시해달라고 했다.
그러자 LLM은 다음과 같이 답했다.
현재 구현 기준으로는 원래 raw material은 여기입니다:
D:\03Gpters\llm-wiki-test1\llm-wiki\sources\
세부 배치는 이렇게 보면 됩니다.
llm-wiki/
sources/ # 원본 자료 위치
docs/ # PDF, 강의자료, 일반 문서
transcripts/ # 전사본, 회의록
web/ # 웹 클리핑, 기사 저장본
attachments/ # 민감하지 않은 비미디어 첨부파일
_private/ # 기본 ingest 제외
media/ # 이미지, 동영상
visual-references/ # 사용자가 명시한 시각 참고자료
secrets/ # API Key 등
identifiers/ # 일련번호, 식별자
wiki/ # LLM이 정리한 지식
schema/ # LLM이 따를 규칙
members/tearess/ # 개인 메모, 초안, 아이디어
즉, PDF나 문서 원본은 sources/docs/, 회의록이나 전사본은 sources/transcripts/, 웹에서 긁은 글은 sources/web/에
두면 됩니다. 이미지, 동영상, API Key, 일련번호는 일반 sources/가 아니라 _private/ 쪽입니다.
다만 기존처럼 다른 폴더에 이미 원본이 있으면 꼭 복사하지 않아도 됩니다. llm-wiki/sources/source-index.md에 경로만 Source ID로 등록해도 됩니다. 이런 식으로 원본 자료는 sources에 위치하도록 하고 있다.
그렇다면 sources 폴더에 위치한 자료는 ingest 후에도 해당 자료가 있던 폴더에 그대로 위치하게 된다.
그렇게 되면 sources 폴더(하위폴더 포함)에 위치한 자료는 ingest된 자료와 ingest되기 전의 자료가 혼재한 상태에 있게 된다.
예를 들어 sources/docs/강의자료.pdf를 ingest하면:
1. 원본 강의자료.pdf는 sources/docs/강의자료.pdf에 그대로 둠
2. llm-wiki/sources/source-index.md에 SRC-009로 등록
3. wiki/source-summaries/SRC-009-강의자료.md 생성
4. 필요한 개념은 wiki/concepts/, 절차는 wiki/workflows/, 결정사항은 wiki/decisions/에 반영
5. llm-wiki/index.md와 llm-wiki/log.md 갱신 그래서 inbox를 만들어서 inbox 에 있는 자료를 ingest시키고, ingest시킨 원본은 sources 폴더로 옮기도록 했다.
그렇게 해서 llm-wiki의 프로세스가 바뀌었다.
llm-wiki/
inbox/ # 미처리 raw material 대기열
docs/
transcripts/
web/
attachments/
sources/ # ingest 완료 원본 보관소
docs/
transcripts/
web/
attachments/
source-index.md
wiki/ # 컴파일된 지식
schema/ # 운영 규칙
핵심 변경은 이겁니다.
사용자: inbox/에 원본 투입
LLM: 민감자료 여부 확인
LLM: ingest 가능한 원본을 sources/로 이동
LLM: source-index.md에 Source ID 등록
LLM: wiki/source-summaries/ 작성
LLM: 3단계 지식체계론 검토
LLM: wiki 문서 컴파일
LLM: index.md + log.md 갱신 2. 테스트용 LLM-Wiki에 시험용 문서 생성
이제 inbox에 원본을 투입하면 3단계 지식체계론을 검토하여 wiki 문서가 컴파일될 것이다.
검증이 가능하도록 obsidian에서 llm-wiki를 새로운 볼트로 열어 inbox에 새 파일들을 생성했다.
한꺼번에 많은 자료를 넣으면 역추적하기가 어려울 수 있으므로 간략한 문서자료 위주로 넣었다.
넣은 자료는 1. 서시(윤동주) 2. 영주 부석사 무량수전에 관한 나무위키의 글 3. 세종대왕에 대해 작성한 글로 이 글의 내용은 다음과 같다.
1. 세종대왕은 잘 생겼다
2. 세종대왕은 존경받을만 하다.
3. 세종대왕은 조선의 제4대 왕이다.
4. 세종대왕은 한글을 창제했다.
5. 세종대왕은 아이패드를 집어던지셨다.
6. 세종대왕은 단종의 아버지이다.
7. 세종대왕의 업적은 널리 알려져야 한다.
8. 모든 한국 사람들은 세종대왕을 추앙해야 한다.3. ingest 수행
이제 이 3개의 문서를 ingest하겠다.
지금 inbox/docs 폴더에 있는 문서를 ingest해LLM이 다음과 같이 반응한다.
• inbox/docs에는 3개 Markdown 문서가 있고 sources/docs는 비어 있습니다. 이제 원문 내용을 읽고, 각 문서별 Source 요약과 필요한 위키 문서를 만들겠습니다.
• 이 3개는 성격이 다릅니다. 서시.md는 문학 원문이라 저작권/인용 위험이 있고, 세종대왕.md는 참/거짓/의견/시대착오 claim이 섞여 있으며, 영주 부석사 무량수전.md은 역사·문화재 claim 위주입니다. 3단계 지식체계론을 적용해 단정 가능한 것과 보류/반박할 것을 분리하겠습니다.
• 원본 3개를 sources/docs로 이동했습니다. 이제 SRC-009부터 SRC-011까지 등록하고, 각 자료의 요약 및 관련 개념 문서를 생성하겠습니다. 잘못되었거나 주관적인 claim은 정식 지식으로 단정하지 않고 answer_policy로 제한합니다. 이렇게 하여 inbox/docs에 있던 원본은 ingest되어 sources/docs로 이동했다. inbox/docs에는 해당 원본들이 없어진 것을 확인했고, 같은 내용의 원본들이 sources/docs로 이동한 것을 확인할 수 있었다.
4. ingest 결과
ingest는 성공적으로 완료됐다. 필자가 의도적으로 넣은 윤동주의 서시 전문, 그리고 부석사 무량수전에 대한 사실과 평가가 섞인 나무위키 본문, 마지막으로 세종대왕에 대한 8가지 짤막한 문장은 각각 다음과 같이 컴파일되었다.
여기서 해당 내용을 모두 본문에 수록하기에는 양이 많으므로 여기서는 해당 내용의 핵심을 요약해서 수록하고자 한다.
LLM은 일단 각 원문을 읽고 성격을 분류했다.
서시.md: 문학 원문. 원문 재인용/저작권 위험 주의.세종대왕.md: 사실, 의견, 시대착오, 오류 claim이 섞인 메모.영주 부석사 무량수전.md: 문화재·건축사 claim. 일부 평가는 해석으로 한정.
필자의 의도는 '서시'와 같은 문학작품에게도 과연 llml이 3단계 지식체계론에 따라 검증을 거칠 것인지, 그리고 '영주 부석사 무량수전'과 같은 사실과 평가가 혼재된 문서에 대해 어떻게 처리할지, 마지막으로 세종대왕에 대한 추상적 평가, 사실 판단, 잘못된 사실, 당위성 주장 등이 있는 경우 LLM이 어떻게 처리할지를 추적하는 것이었다.
가. 서시
서시에 대해, LLM은 서시의 제목과 본문 내용만으로도 이것이 문학작품임을 파악하고 문학작품으로 분류하여 다음과 같이 정리했다.
# 서시
## 한 줄 요약
`SRC-009`는 `서시`라는 제목의 한국어 시 원문 자료이며, 위키에서는 원문 반복 복제보다 자료 관리와 분석 원칙을 우선한다.
## 핵심 내용
- `SRC-009`는 짧은 한국어 시 원문으로 구성되어 있다.
- 문학 텍스트는 원문 전체를 위키 본문에 반복 복제하지 않는다.
- 분석이 필요하면 짧은 근거 구절과 해석 범위를 분리한다.
- 저자, 창작 시기, 문학사적 의의는 별도 출처가 추가될 때 공식 claim으로 편입한다.따라서 별도의 3단계 지식체계론에 맞춰 분석했지만, 서시의 내용을 이루는 각 문장을 분해하지 않았고
- 원문 전체나 긴 구절을 wiki 본문에 반복 복제하지 않는다.
- 저자, 발표 시기, 문학사적 의미는 현재 Source만으로 확정하지 않는다.는 내용을 주의사항에 스스로 반영했다.
3단계 지식체계론이 서시.md를 분석한 결과는 다음과 같다.
knowledge_review:
applies: light
typicality: pass
coherence: coherent
confirmability: strong
answer_policy: assert_with_citation
reason: "파일명과 원문 형식이 claim을 직접 뒷받침한다."즉, 3단계 지식체계론을 light로 적용했고, 1단계인 지식요건해당성은 pass했으며, 정합성도 만족시켰고, 확증가능성은 strong으로 평가했다. 따라서 인용이 있으면 확정적으로 단언(assert_with_citation)할 수 있는 성격의 지식으로 분류됐다. 그 이유는 "파일명과 원문 형식이 claim을 직접 뒷받침한다"는 것이기 때문이다.
생각해보면, 윤동주의 서시라는 시가 문학작품으로 존재한다는 사실은 지식으로서의 형식적 요건도 충족할 뿐 아니라, 전체 지식 체계에도 부합하고, 따라서 인용의 근거만 확보되면 확정적으로 주장할 수 있는 지식에 편입된 것이다.
나. 영주 부석사 무량수전
영주 부석사 무량수전은 나무위키에 있는 내용 중 첫번째 단락의 설명을 그대로 가져온 문서이다.
이에 대해 LLM은 아래와 같이 요약했다.
# 영주 부석사 무량수전
## 한 줄 요약
`SRC-011`은 영주 부석사 무량수전의 시대, 지정, 연대 추정, 건축미 평가를 다루는 문화재 메모다.
## 핵심 내용
- 영주 부석사 무량수전을 고려 시대 건축물로 설명한다.
- 1962년 국보 제18호 지정 claim이 있다.
- 봉정사 극락전과의 연대 비교는 건립 연대가 추정에 의존한다는 점을 함께 표시해야 한다.
- 1376년 중수 기록과 전통 건물의 수리 주기를 근거로 건립 시기를 추정한다.
- 건축미 평가는 사실 claim이 아니라 해석 claim으로 다룬다.여기에는 claim이 있으므로 LLM은 앞의 서시와 달리 이에 대해 claim 처리라는 단락으로 별도로 처리했다.
Claim
처리
경북 영주시 부석사 소재
출처와 함께 사용 가능
고려 시대 건축물 추정
추정 표현 유지
국보 제18호 지정
공식 출처 보강 권장
봉정사 극락전과 연대 비교
논쟁/추정으로 표시
형태·비례미 평가
평가 또는 해석으로 표시
이에 대한 source-summaries의 항목을 보면 좀 더 자세히 나타난다.
knowledge_review:
applies: light
typicality: pass
coherence: presumed
confirmability: moderate
answer_policy: qualify
reason: "자료가 구체적인 문화재 claim을 제공하지만, 현재는 단일 local source이므로 공식 출처 보강 전에는 범위를 한정해 사용한다."즉, 여기에는 3단계 지식체계론을 light로 적용했고, 1단계 지식요건해당성은 pass이고, 정합성은 앞의 서시가 정합성을 갖춘(corehent)것과 달리 추정(presumed)되며, 확증가능성(comfirmability)는 중간 정도임을 알 수 있다. 따라서 답변 정책도 qualify로 이는 "자료가 구체적인 문화재 claim을 제공하지만, 현재는 단일 local source이므로 공식 출처 보강 전에는 범위를 한정해 사용한다."는 것이다.
Claim
유형
3단계 판단
answer_policy
부석사 무량수전은 경북 영주시 부석사에 있다
fact
source 직접 근거, 추가 공식 출처 필요
assert_with_citation
부석사 무량수전은 고려 시대 건축물로 추정된다
historical_fact
추정 claim이므로 시점·범위 한정 필요
qualify
1962년 국보 제18호로 지정되었다
historical_fact
구체적 claim, 공식 출처 보강 권장
assert_with_citation
봉정사 극락전과 연대 비교 논쟁이 있다
relation
source 직접 근거, 논쟁 상태 표시 필요
qualify
무량수전은 형태와 비례미가 뛰어나다
interpretation
건축 평가 claim
mention_as_view
즉, 주장의 유형에 따라 유형과 answer_policy가 다양하게 구분되는 것을 볼 수 있다.
특히 추정되는 것과 논쟁이 있는 문장은 단언하지 않고 잠정적으로 사용해야 함을 알 수 있으며, '뛰어나다'와 같은 평가는 견해로 소개되도록 정해놓았음을 알 수 있다.
다. 세종대왕에 대한 문장들
이것은 필자가 3단계 지식체계론이 작동되는 것을 테스트하기 위해 임의로 넣은 8개의 문장이다. 앞에서도 언급했지만 다음의 8개의 문장으로 이루어져 있다.
1. 세종대왕은 잘 생겼다
2. 세종대왕은 존경받을만 하다.
3. 세종대왕은 조선의 제4대 왕이다.
4. 세종대왕은 한글을 창제했다.
5. 세종대왕은 아이패드를 집어던지셨다.
6. 세종대왕은 단종의 아버지이다.
7. 세종대왕의 업적은 널리 알려져야 한다.
8. 모든 한국 사람들은 세종대왕을 추앙해야 한다.LLM이 이를 요약한 내용은 다음과 같다.
summary_l0: "세종대왕 claim 검증 노트"
summary_l1: "이 문서는 SRC-010의 세종대왕 관련 claim을 3단계 지식체계론으로 분류한다. 사실로 사용할 수 있는 claim, 의견으로만 소개할 claim, 정합성에서 탈락해 답변 근거로 쓰지 않을 claim을 구분한다. 현재 자료는 단일 메모이므로 역사적 사실 claim은 향후 신뢰 출처로 보강하는 것이 좋다."각각의 claim에 대해서는 다음과 같이 처리했다.
원문 claim 요지
처리
외모 평가
주관적 평가. 사실로 단정하지 않음
존경받을 만하다는 평가
의견으로만 소개
조선의 제4대 왕
역사적 사실 claim. 공식 출처 보강 권장
한글 창제
역사적 사실 claim. 공식 출처 보강 권장
아이패드를 집어던졌다는 주장
시대착오 claim. 답변 근거로 사용 금지
단종의 아버지라는 주장
오류 claim. 답변 근거로 사용 금지
업적이 알려져야 한다는 주장
규범적 의견
모든 한국인이 추앙해야 한다는 주장
과잉 일반화된 규범적 의견
세종대왕 문서를 3단계 지식체계론은 어떻게 적용했을까? 다음에 그 예시가 있다.
knowledge_review:
applies: strict
typicality: pass
coherence: conflicted
confirmability: moderate
answer_policy: qualify
reason: "자료 안에 사실 claim, 의견 claim, 시대착오 claim, 오류 claim이 섞여 있어 claim별 분리 검토가 필요하다."여기서는 서시, 영주 부석사 무량수전과 달리 3단계 지식체계론을 엄격(strict)하게 적용했음을 알 수 있다. 일단 지식요건해당성은 pass했으나 정합성에서 conflicted되는 문제가 나왔다. 즉, 정합성에 부합하지 않고 불일치 내지는 충돌되는 문제가 발생한 것이었다. 확증가능성은 중간정도로 나왔다. 그리고 answer_policy는 qualify로 나왔는데, 이유는 "자료 안에 사실 claim, 의견 claim, 시대착오 claim, 오류 claim이 섞여 있어 claim별 분리 검토가 필요하다."는 것이었다.
아마도 8개의 claim 모두가 일률적으로 정합성을 갖추지 못했다거나, 또는 모든 claim의 확증가능성이 중간 정도라는 의미는 아니고, 서로 다른 유형의 claim이 혼재되어 있다보니 일률적으로 저렇게 평가한 것으로 생각된다. 핵심요약은 다음과 같다.
## 핵심 요약
- 세종대왕에 관한 8개 claim이 번호 목록으로 기록되어 있다.
- 역사적 사실, 주관적 평가, 규범적 주장, 시대착오적 주장, 오류로 보이는 주장이 섞여 있다.
- 정식 지식으로 편입할 때는 claim별로 분리해 answer_policy를 달리해야 한다.그리고 각 claim에 대한 처리는 아래와 같다.
Claim
유형
3단계 판단
answer_policy
세종대왕은 잘 생겼다
interpretation
주관적 평가, 근거 없음
mention_as_view
세종대왕은 존경받을만 하다
interpretation
평가 claim
mention_as_view
세종대왕은 조선의 제4대 왕이다
fact
정합성 높음, 추가 신뢰 출처 필요
assert_with_citation
세종대왕은 한글을 창제했다
historical_fact
정합성 높음, 추가 신뢰 출처 필요
assert_with_citation
세종대왕은 아이패드를 집어던지셨다
fact
시대착오로 정합성 탈락
do_not_assert
세종대왕은 단종의 아버지이다
fact
일반 역사 지식과 충돌하는 오류 claim
do_not_assert
세종대왕의 업적은 널리 알려져야 한다
interpretation
규범적 평가
mention_as_view
모든 한국 사람들은 세종대왕을 추앙해야 한다
interpretation
과잉 일반화된 규범 주장
mention_as_view
여기서 보면, 일단 LLM은 claim의 유형을 fact와 interpretation으로 분류하고, 그에 따라 판단을 하되, fact의 경우 3단계 지식체계론을 적용하여 정합성을 판단하는 것을 알 수 있다.
다만, 위의 claim 처리표만으로는 3단계 판단이 어떻게 구현됐는지 알기가 어려우므로 다른 자료를 살펴보았다.
LLM은 3단계 지식체계 평가 후 contradiction-register.md에 충돌 claim을 등록하도록 하고 있다.
여기에 기록된 contradiction을 살펴본 결과는 아래와 같다.
## [2026-05-31] conflict-sejong-001
- new_claim: "세종대왕은 아이패드를 집어던지셨다."
- conflicts_with: "세종대왕 생존 시기와 iPad의 현대 기기라는 시간적 정합성"
- source_refs: `SRC-010`
- coherence: rejected
- confirmability: none
- answer_policy: do_not_assert
- treatment: 시대착오 claim으로 보존하되 답변 근거로 사용 금지
- next_review: 필요 없음. 다만 자료 목적이 풍자나 예시인지 사용자가 밝히면 interpretation으로 재분류 가능
## [2026-05-31] conflict-sejong-002
- new_claim: "세종대왕은 단종의 아버지이다."
- conflicts_with: "일반 역사 지식과 충돌하는 계보 claim"
- source_refs: `SRC-010`
- coherence: rejected
- confirmability: none
- answer_policy: do_not_assert
- treatment: 오류 claim으로 보존하되 답변 근거로 사용 금지
- next_review: 조선 왕실 계보에 대한 공식 출처 ingest 후 correction claim 작성 가능세종대왕이 아이패드를 집어던지셨다는 것은 시간적 정합성을 갖추지 못한 claim으로 contradiction이 발생한 상황이고, 반면에 "세종대왕이 단종의 아버지"라는 주장은 실체적 역사 지식인 세종대왕이 문종의 아버지이고, 단종의 할아버지라는 사실과 배치되는 사실이므로 정합성을 갖추지 못한 것이다.
둘 다 정합성(coherence)이 rejected됨을 알 수 있다. 또한 confirmability도 없다.
따라서 LLM은 이를 각각 시대착오 claim과 오류 claim으로 보존하되 답변 근거로 사용을 금지하도록 했고, 세종대왕 아이패드 사건은 아예 next review도 필요없지만, 만약 이것이 AI 초창기에 AI의 한계를 나타내는 예시나 풍자로 사용된다는 문맥 속에서는 interpretation으로 재분류될 수 있을 뿐, 현재로서는 주장이 불가능한 지식에 분류된다.
한편, 세종대왕이 단종의 아버지라는 잘못된 사실은 오류 claim이므로 사용이 금지되며, 만약 조선 왕실 계보에 대한 공식 출처가 ingest된 후에 correction claim 작성이 가능하다는 점이 인상적이었다.
다음으로는 확증가능성이 weak인 claim에 대한 내용이다.
여기에는 "세종대왕은 잘 생겼다"와 "모든 한국 사람들은 세종대왕을 추앙해야 한다"는 claim이 해당된다.
LLM은 이를 weak-confirmability-register.md에 별도의 문서를 만들어 저장한다.
여기에 기록된 weak confirmability는 아래와 같다.
## [2026-05-31] weak-sejong-001
- claim: "세종대왕은 잘 생겼다."
- source_refs: `SRC-010`
- confirmability: weak
- answer_policy: mention_as_view
- reason: 주관적 외모 평가이며 근거와 판단 기준이 없다.
- required_action: 사실 claim으로 사용하지 않는다.
## [2026-05-31] weak-sejong-002
- claim: "모든 한국 사람들은 세종대왕을 추앙해야 한다."
- source_refs: `SRC-010`
- confirmability: weak
- answer_policy: mention_as_view
- reason: 규범적·과잉 일반화 주장이다.
- required_action: 사용자의 의견으로만 소개하고 일반 명제로 단정하지 않는다.이 두 claim은 확증가능성이 weak로 분류된 문서이다. 여기서 필자는 의문이 생겼다. 이것이 3단계 지식체계론을 거친 것으로 생각되는데, 그렇다면 지식요건해당성과 정합성을 갖춘 것이고, 다만 확증가능성만 weak인 상태인지, 아니면 지식요건해당성과 정합성에 대해서는 판단하지 않은 채 확증가능성에 대해서만 판단한 것인지 의문이 들었다.
이것은 좀 더 지식체계를 정교화시키면서 해결해야 할 문제라고 생각됐다. 아니면 그보다 앞서 개인적의 주관적 판단이나 평가가 들어간 문장에 3단계 지식체계론을 적용시키는 것이 타당한지, 만약 적용시키더라도 어느 정도로 적용시켜야 하는지에 대해 고민해야 함을 깨달았다.
어쨌든 LLM은 지식요건해당성과 정합성에 대해서는 침묵한 채, 이것을 해석의 유형으로 판단한 후 weak confirmability로 분류하여 별도로 기록했다.
앞서 세종대왕에 대한 8가지 claim 중 LLM이 interpretation으로 분류한 것은 4개이며 다음과 같다.
Claim
유형
3단계 판단
answer_policy
세종대왕은 잘 생겼다
interpretation
주관적 평가, 근거 없음
mention_as_view
세종대왕은 존경받을만 하다
interpretation
평가 claim
mention_as_view
세종대왕의 업적은 널리 알려져야 한다
interpretation
규범적 평가
mention_as_view
모든 한국 사람들은 세종대왕을 추앙해야 한다
interpretation
과잉 일반화된 규범 주장
mention_as_view
이 중에서 "세종대왕은 존경받을만하다"와 "세종대왕의 업적은 널리 알려져야 한다"는 claim에 대해서는 3단계판단에서 확증가능성을 weak 이하로 보지 않았으나,, 나머지 2개의 interpretation에 대해서는 확증 가능성을 weak로 본 것이다.
LLM이 이것을 위와 같이 분류한 이유는 분명히 있을 것인데, 이에 대한 wiki 문서를 모두 뒤져보아도 딱히 그렇게 분류한 근거가 따로 붙어있지는 않았다.
다만, 아마도 LLM은 내재적으로 interpretation을 두 종류로 구분하고 있는 것 같다.
하나는 주관적 주장이라 하더라도 다수의 사람들이나 문헌, 자료들에 의해 지지를 받을 수 있는 주장, 즉 여기서 "세종대왕은 존경받을만 하다"는 것과 "세종대왕의 업적은 널리 알려져야 한다"는 것과, 그런 confirmability가 없거나 낮은 "세종대왕은 잘 생겼다", "모든 한국 사람들은 세종대왕을 추앙해야 한다"를 구분한 것으로 생각된다.
하지만 다음에는 이 confirmability의 grade에 대한 근거도 설시하도록 하면 더욱 더 근거가 탄탄해질 것으로 생각된다.
5. 결론 및 제언
지금까지 필자가 지난 사례게시글에서 언급했던 3단계 지식체계론을 실제로 테스트용 LLM-Wiki에 작게나마 적용한 사례를 풀어보았다.
여기서 들었던 몇 가지 의문에 덧붙여 다른 의문이 생겼다.
만약 3단계 지식체계론이 없는 LLM-Wiki에 동일한 3가지 자료-서시, 영주 부석사 무량수전, 세종대왕-을 넣고 ingest하면 어떤 결과가 있을까? 결과값에 차이가 있을 수도 있고, 결과값에는 차이가 없지만 지금과 같은 분류근거는 없을 수도 있을 것인데, 실제로 이를 직접 구현해서 확인해보고 싶었다. 이것을 그냥 LLM에게 물어보는 것만으로는 LLM이 거짓말을 할 것도 같아서 직접 다시 동일한, 그러나 3단계 지식체계론이 적용되지 않은 날 것 그대로의 llm-wiki를 구축해서 거기서 ingest를 해서 그 결과값을 확인해보고 싶었다.
그래서 다음 사례게시글은 아래와 같은 순서로 작성하고자 한다.
3단계 지식체계론이 적용되지 않은 llm-wiki에서의 ingest 결과
기존 claim과 모순되는 claim이 제기되는 경우 현재의 llm-wiki는 어떻게 처리하는가
기존 claim과 모순되는 claim 제기 시 llm-wiki의 schema로서 "안정력이론"의 적용
"안정력 이론"을 적용하기 위한 전제조건으로서 동일한 문서의 범위를 어떻게 확정할 것인가에 대한 "동일문서이론"
