📣 23기 AI 스터디 주제를 확인해보세요!

데이터 수집 / 분석
유피테르
유피테르
·데이터 수집 / 분석에 게시됨

정보가 지식으로서 LLM Wiki에 편입되기 위한 3단계 검증 요건

정보가 지식으로 편입되기 위한 기준 설정의 필요성

필자는 Andrej Karpathy의 LLM Wiki를 구축하면서 Karpathy의 이론에 따라 Raw-Wiki-Schema의 구조와 Ingest-Query-Lint의 Architecture를 갖도록 설계했으나 여기에 약간의 변경을 가하여 Raw를 Inbox와 Sources로 나누고, Wiki 외에 작업의 결과물인 Project와 다른 팀원들의 작업공간인 Person으로 나눴다. 그리고 개인정보가 저장되는 Private 폴더와 마지막으로 Schema 폴더로 구성했다.

카파시가 제안한 구조가 분화되기는 했으나 본질적으로는 차이가 없다. 다만, Inbox에 있는 자료는 schema에서 정한 규칙에 따라 ingest되어 원본 그대로 저장되는 한편, wiki를 구성하도록 한 것이다.

그렇다면 이제는 어떤 원칙에 따라 정보를 지식으로 편입시킬 것인지가 고민되었다.

여기서 3단계 지식체계론을 세웠다.

3단계 지식체계론

3단계 지식체계론은 다음과 같다.

  1. 지식요건해당성
    → 이것이 LLM Wiki의 지식 단위로 성립할 형식적 요건을 갖추었는가?

  2. 정합성
    → 형식은 맞지만 이것이 전체 지식질서·정책·출처규칙과 모순·충돌하지 않는가?

  3. 확증가능성
    → 이것이 출처·증거·검토·반대증거 검토를 통해 어느 정도 확증될 수 있는가?

즉, 어떤 지식이 wiki로 편입되기 위해서는 일단 지식요건해당성을 갖춰야 하며, 정합성과 확증가능성이 있어야 한다는 것이다.

1. 1단계 : 지식요건해당성 = "지식 후보의 형식 요건"

이 단계는 내용의 참거짓을 최종 판단하는 단계가 아니라, wiki에 넣을 수 있는 단위인지 확인하는 단계이다. aw source에서 추출된 정보가 미리 정의한 claim/page type에 맞는지를 보는 것이다.

예를 들어 LLM Wiki에서 모든 지식 단위를 다음 중 하나로 분류하게 한다.

claim_types:
  - fact          # 단순 사실
  - definition    # 개념 정의
  - relation      # A가 B에 영향을 줌, A는 B의 하위개념 등
  - timeline      # 시점이 중요한 사건
  - decision      # 회의/프로젝트 결정
  - interpretation # 해석, 논평, 추론
  - question      # 아직 답이 없는 쟁점

그리고 모든 claim은 최소한 아래 필드를 갖춰야 한다.

typicality_requirements:
  subject: required
  predicate: required
  object: required
  source_id: required
  evidence_span: required
  claim_type: required
  time_scope: optional_but_recommended
  domain_scope: optional_but_recommended

이 단계에서 떨어지는 정보는 보통 이런 것들이다.

  • 출처가 없는 주장

  • subject/predicate/object가 분리되지 않는 문장

  • 요약인지 사실인지 해석인지 불명확한 문장

  • 같은 문장 안에 여러 주장이 섞여 있는 경우

  • 날짜나 범위가 중요한데 scope가 없는 경우

처리 규칙은 간단하다.

지식요건해당성 없음 → wiki에 본문 claim으로 편입하지 않음
대신:

  • raw extraction note에 보관하거나

  • pending_claims.md로 이동하거나

  • 사람이 다시 분해하도록 표시

2단계 : 정합성 = “전체 지식질서와의 충돌 검사”

지식요건에 해당한다고 해서 바로 wiki에 넣으면 안 될 것이다. 지식요건에 해당한다는 것은 사실판단·잠정판단이고, 정합성 판단을 거쳐 확정적 평가를 받는다.

예를 들어 "태양이 지구 주위를 돈다"라는 정보가 있다고 하자. 이 정보는 형식적으로는 지식의 요건을 갖추었기 때문에 1단계의 지식요건해당성을 갖춘 정보이다. 하지만 전체 지식질서를 볼 때, 명백히 모순되는, 잘못된 내용이다. 이것을 무분별하게 wiki에 편입하게 되면 wiki는 잘못된 지식으로 오염되게 된다.

따라서 "태양이 지구 주위를 돈다"는 정합성 단계에서 탈락하게 된다.

검사 항목은 다음과 같다.

wrongfulness_checks:
  contradiction:
    description: "기존 wiki claim과 충돌하는가?"
    action_if_true: "disputed 상태로 저장하고 양쪽 출처를 병기"

  supersession:
    description: "더 최신 source가 이 claim을 대체했는가?"
    action_if_true: "superseded 상태로 전환"

  privacy_or_security:
    description: "개인정보, 비밀, 내부 보안정보를 부적절하게 노출하는가?"
    action_if_true: "redact 또는 restricted namespace로 이동"

  copyright_or_quote_risk:
    description: "원문을 과도하게 복제하는가?"
    action_if_true: "요약으로 전환하고 짧은 evidence span만 유지"

  scope_mismatch:
    description: "특정 문맥의 주장을 일반 명제로 과잉 확장했는가?"
    action_if_true: "domain_scope/time_scope 추가"

  source_hierarchy:
    description: "낮은 신뢰도의 source가 높은 신뢰도의 source와 충돌하는가?"
    action_if_true: "confidence 하향 또는 disputed 처리"

여기서 정당화사유에 해당하는 것을 schema에 둘 수 있다. 이렇게 함으로써 정합성 판단의 근거를 강화할 수 있다.

justification_tags:
  - directly_sourced        # raw source에 직접 근거 있음
  - human_approved          # 사용자가 명시적으로 승인
  - clearly_marked_opinion  # 사실이 아니라 의견/해석으로 표시
  - redacted                # 민감정보 제거됨
  - limited_quote           # 인용 범위 최소화
  - domain_scoped           # 적용 범위가 제한되어 있음
  - time_scoped             # 특정 시점 기준임

예를 들어 어떤 claim이 기존 문서와 충돌하지만 양쪽 모두 출처가 있으면 삭제하지 말고 이렇게 저장한다.

stage_2_wrongfulness:
  passed: true
  status: disputed
  contradiction_with:
    - claim-2026-05-20-004
  justification:
    - directly_sourced
    - clearly_marked_conflict
  required_page_treatment:
    - "본문에서 단정하지 말 것"
    - "양쪽 출처와 날짜를 병기할 것"
    - "query 답변 시 disputed로 표시할 것"

이렇게 하면 LLM Wiki의 lint 작업과도 잘 맞는다. LLM Wiki schema의 일반적인 lint는 contradictions, stale claims, orphan pages, missing cross-references 등을 점검하도록 설계된다.

3. 3단계 : 확증가능성 = "이 지식이 어느 정도로 확증될 수 있는가"

지식요건에 해당하고 정합성을 갖춘 지식이라 하더라도 그 지식이 증거에 의해 뒷받침될 수 있는 정도는 차이가 있을 것이다. 어떤 지식은 진리 또는 공리여서 매우 높은 확증가능성을 가지고 있음에 비해, 어떠 지식은 옳기는 하지만 확증되기에는 약한 지위를 가질 수 있다. 다만, 확증가능성이 아예 없는 지식은 비록 앞의 두 요건을 갖추었다 하더라도 지식으로 편입되어서는 안 될 것이다.

사실 이것은 원래 "주장책임성"이라는 용어를 사용했다. 이는 정합성이 인정된 지식을 LLM Wiki가 어느 범위와 강도로 주장할 수 있는지 판단하는 것이다. 그런데 LLM 입장에서는 해당 지식을 "주장"하는 것일지 몰라도 사용자인 필자의 입장에서는 LLM의 주장을 보는 입장이기 때문에 "주장책임성"이라는 용어가 와닿지 않았다. 따라서 LLM 입장에서의 "주장책임성"을 사용자 입장에서의 "확증가능성"으로 바꾸도록 했다.

원래 LLM Wiki에서의 "주장책임성"의 내용은 아래와 같았다.

이 지식을 누가 주장하는가?
어떤 출처에 근거하는가?
얼마나 확실한가?
추론이 많이 개입되었는가?
검토되었는가?
답변에 단정적으로 써도 되는가?

필자는 이를 "확증가능성"으로 바꾸었지만, 내용에 있어서 달라진 것은 없다. 보는 관점에서의 차이일 뿐이다.

여기서 중요한 것은 정합성과 확증가능성은 분명 다르다는 것이다.

개념만으로는 쉽게 이해하기 어려울 수 있으므로 예를 들어 설명하겠다.

“A 논문은 X 방법이 효과적이라고 주장한다.”

위와 같은 정보가 있다.
이 정보는 형식적으로 잘 구성되어 있고, 기존 지식과 충돌하지 않을 수 있다.
그러면

지식요건해당성 있음
정합성 있음

이다.

하지만 그 논문이 낮은 신뢰도의 preprint이고, 다른 검증이 없고, LLM이 논문 내용을 크게 추론해서 요약했다면?

그 경우에는:

확증가능성 낮음

인 것이다.

그래서 답변에서는 이렇게 말해야 한다.

“X 방법이 효과적이다.”

이런 식의 단정적 표현이 아니라,

“해당 논문은 X 방법이 효과적이라고 주장하지만, 아직 검증 수준은 제한적이다.”

라고 해야 할 것이다.

확증가능성의 판단 요소

확증가능성은 다음 요소로 판단하는 것이 좋다.

확증가능성:
  출처접근성:
    question: "원자료 또는 신뢰 가능한 출처를 확인할 수 있는가?"

  증거직접성:
    question: "출처가 해당 claim을 직접 뒷받침하는가?"

  증거충분성:
    question: "하나의 약한 근거가 아니라 충분한 근거가 있는가?"

  독립확인성:
    question: "서로 독립된 자료들이 같은 결론을 지지하는가?"

  반대증거검토:
    question: "충돌하는 자료나 반대 견해가 검토되었는가?"

  추론개입도:
    question: "LLM의 해석이나 추론이 얼마나 개입되었는가?"

  재현가능성:
    question: "경험적 명제라면 관측·실험·계산으로 재확인 가능한가?"

  문헌확인성:
    question: "법학·역사·철학 명제라면 원전·판례·문헌으로 확인 가능한가?"

  시점적합성:
    question: "특정 시대에는 맞지만 현재 사실로는 틀린 것은 아닌가?"

  범위한정성:
    question: "어느 도메인, 시대, 법체계, 학설 안에서만 확증되는가?"

이렇게 하면 확증가능성은 단순한 “출처 있음”보다 훨씬 강한 개념이 된다.

# 확증가능성의 단계

확증가능성은 5단계 정도로 나누는 게 좋다.

confirmability_levels:
  none:
    label: "확증불가"
    meaning: "출처가 없거나, 출처가 claim을 뒷받침하지 않음"
    answer_policy: "do_not_assert"

  weak:
    label: "약한 확증가능성"
    meaning: "출처는 있으나 간접적이거나 견해 수준임"
    answer_policy: "mention_as_view"

  moderate:
    label: "중간 확증가능성"
    meaning: "신뢰 가능한 근거가 있으나 범위 제한이나 반대 견해가 있음"
    answer_policy: "qualify"

  strong:
    label: "강한 확증가능성"
    meaning: "직접 출처와 충분한 근거가 있고 중대한 충돌이 없음"
    answer_policy: "assert_with_citation"

  settled:
    label: "정착된 확증가능성"
    meaning: "현재 지식체계 안에서 안정적으로 받아들여지는 수준"
    answer_policy: "assert"

여기서 중요한 건 확증가능성은 절대적 진리 선언이 아니라는 점이다.

settled라고 해도 “영원히 참”이라는 뜻이 아니라, 현재의 LLM Wiki 지식질서 안에서 충분히 확증되어 안정적으로 사용할 수 있다는 뜻이다.

확증가능성의 결과값

확증가능성은 단순히 “있다/없다”로 나누기보다, LLM Wiki에서는 확증의 강도로 나누는 것이 좋다.

answer_policy:
  assert:
    meaning: "단정적으로 주장 가능"
    example: "A는 B이다."

  assert_with_citation:
    meaning: "출처를 붙이면 단정 가능"
    example: "자료 X에 따르면 A는 B이다."

  qualify:
    meaning: "조건부·유보적으로만 주장 가능"
    example: "A는 B로 볼 수 있으나, 적용 범위는 제한된다."

  mention_as_view:
    meaning: "하나의 견해로만 소개 가능"
    example: "일부 견해는 A를 B로 본다."

  mention_as_disputed:
    meaning: "논쟁 중인 주장으로만 소개 가능"
    example: "A가 B인지에 대해서는 견해가 갈린다."

  do_not_assert:
    meaning: "답변 근거로 사용 금지"
    example: "출처 부족 또는 검토 미완료"

이렇게 하면 세 번째 단계는 단순한 탈락 심사가 아니라, 지식의 발화 강도를 정하는 단계가 된다.

확증가능성 결여 사유

LLM Wiki에서는 확증가능성 결여 사유를 둘 수 있다.

예를 들면 다음과 같다.

확증가능성_결여사유:
  - source 없음
  - source는 있으나 evidence span 없음
  - source가 claim을 직접 뒷받침하지 않음
  - LLM의 추론이 과도하게 개입됨
  - confidence가 낮음
  - 오래된 정보인데 time_scope가 없음
  - 정합성은 있지만 minority view임을 표시하지 않음
  - human review가 필요한데 검토되지 않음
  - privacy, license, confidentiality 문제로 답변에 사용 불가
  - claim은 맞지만 사용자의 질문 범위를 넘는 과잉 일반화 위험이 큼

여기서 중요한 점은, 확증가능성이 없다고 해서 반드시 wiki에서 삭제해야 하는 것은 아니라는 것이다.

대신 상태를 나눈다.

확증가능성 충분       → assert
확증가능성 일부 있음  → qualify
확증가능성 낮음       → mention_as_view
확증가능성 없음       → do_not_assert / pending

4. 천동설과 지동설을 예시로 3단계 지식체계 설명

1. 3단계 지식체계론의 기본 구조

1. 지식요건해당성
   → 이 정보가 LLM Wiki에 들어갈 수 있는 지식 단위인가?

2. 정합성
   → 이 정보가 전체 지식질서와 충돌하지 않는가?

3. 확증가능성
   → 이 정보는 어느 정도로 확증성(신뢰성)을 가진 정보인가?

여기서 핵심은 1단계와 2단계가 다르다는 점이다.

천동설도 문장 구조만 보면 충분히 “지식요건”을 갖출 수 있다. 예를 들어:

“프톨레마이오스 체계는 지구를 우주의 중심으로 본다.”

이 문장은 주어, 술어, 목적어, 이론명, 출처, 시대 범위를 가질 수 있다. 따라서 지식요건해당성은 인정된다.

하지만 다음 문장은 다르다.

“현재 실제 우주의 중심은 지구이다.”

이 문장도 형식상으로는 claim이다. 그러나 현대 천문학 지식질서 안에서는 지동설·현대 태양계 모델과 충돌한다. 따라서 정합성 단계에서 문제가 생긴다.

2. 예시 1: “지구는 우주의 중심이다”

A. 현재 자연과학 명제로 저장하는 경우

claim:
  text: "지구는 우주의 중심이다."
  claim_type: fact
  domain_scope: astronomy
  time_scope: present

1단계: 지식요건해당성

이 문장은 형식적으로는 지식 단위가 될 수 있다.

주어: 지구
술어: ~이다
객체: 우주의 중심
claim_type: fact
domain_scope: astronomy
time_scope: present

따라서 1단계에서는 이렇게 판단한다.

지식요건해당성:
  passed: true
  reason: "주어, 술어, 객체, 도메인, 시점이 특정되어 있음"

즉, 형식적으로는 지식처럼 생겼다.

2단계: 정합성

문제는 여기서 발생한다.

현대 천문학 체계에서 코페르니쿠스적 태양중심 모델은 지구와 행성이 태양 주위를 돈다는 방향으로 우주 구조를 설명했고, 현재의 태양계 이해도 지구중심 우주론과는 양립하지 않는다. 코페르니쿠스는 태양을 중심에 놓고 지구가 그 주위를 돈다고 보았으며, 이는 프톨레마이오스적 지구중심 모델과 대립했다. 

따라서 이 claim은 현재 자연과학 명제로는 정합성 단계에서 탈락한다.

정합성:
  passed: false
  reason: "현대 천문학의 태양계 모델과 충돌함"
  정합성_배제사유:
    - "current_scientific_consensus_conflict"
    - "outdated_theory_presented_as_current_fact"

3단계: 확증가능성

정합성에서 탈락했기 때문에, LLM Wiki는 이 문장을 현재 사실로 주장하면 안 된다.

확증가능성:
  level: none
  answer_policy: do_not_assert_as_fact

따라서 LLM은 답변에서 이렇게 말하면 안 된다.

지구는 우주의 중심입니다.

대신 이렇게 처리해야 한다.

“지구가 우주의 중심이라는 주장은 프톨레마이오스적 천동설의 핵심 전제였지만, 현대 천문학의 현재 사실 명제로는 받아들여지지 않는다.”

B. 같은 문장을 과학사 명제로 저장하는 경우

이번에는 같은 내용을 다르게 저장해보자.

claim:
  text: "프톨레마이오스 체계는 지구가 정지해 있고 우주의 중심에 있다고 보았다."
  claim_type: historical_theory
  domain_scope: history_of_science
  time_scope: "Ptolemaic astronomy"

이 경우 판단이 완전히 달라진다.

1단계: 지식요건해당성

지식요건해당성:
  passed: true
  reason: "이론명, 주장 내용, 역사적 범위가 명확함"

이 claim은 잘 구성된 지식에 해당한다.

2단계: 정합성

이제 이 문장은 현대 과학 명제가 아니라 과학사적 명제이다.

“프톨레마이오스 체계가 지구중심 우주론이었다”는 설명은 프톨레마이오스 체계 자체의 역사적 성격을 설명하는 것이므로, 현대 지동설과 충돌하지 않는다. Britannica도 프톨레마이오스 체계를 지구가 정지해 있고 우주의 중심에 있다는 전제에서 출발한 지구중심 우주론으로 설명한다. 

따라서 정합성도 인정된다.

정합성:
  passed: true
  reason: "현재 자연과학 명제가 아니라 역사적 이론 설명이므로 현대 천문학과 충돌하지 않음"

3단계: 확증가능성

이 경우에는 LLM이 비교적 강하게 주장할 수 있다.

확증가능성:
  level: high
  evidence_quality: direct
  inference_level: low
  answer_policy: assert_with_citation

답변에서는 이렇게 말할 수 있다.

프톨레마이오스 체계는 지구가 정지해 있고 우주의 중심에 있다는 전제에서 출발한 지구중심 우주론이었다.

즉, “지구는 우주의 중심이다”는 현재 사실로는 탈락하지만, “프톨레마이오스 체계는 지구를 중심으로 보았다”는 역사적 지식으로는 통과한다.

4. 예시 2: “지구는 태양 주위를 돈다”

이번에는 지동설 claim을 보겠다.

claim:
  text: "지구는 태양 주위를 돈다."
  claim_type: fact
  domain_scope: astronomy
  time_scope: present

1단계: 지식요건해당성

지식요건해당성:
  passed: true
  reason: "주어, 술어, 객체, 도메인, 시점이 명확함"

형식적으로 완전한 claim입니다.

2단계: 정합성

이 claim은 현대 태양계 이해와 충돌하지 않습니다. 코페르니쿠스 체계는 태양을 중심에 놓고 지구와 다른 행성들이 태양 주위를 돈다는 모델로 설명됩니다.

정합성:
  passed: true
  reason: "현대 천문학의 태양계 설명과 양립함"

3단계: 확증가능성

이 claim은 답변에서 단정적으로 사용할 수 있다.

확증가능성:
  level: high
  answer_policy: assert

다만 LLM Wiki 관점에서는 더 정밀하게는 이렇게 저장하는 편이 좋겠다.

claim:
  text: "태양계에서 지구는 태양 주위를 공전한다."
  claim_type: fact
  domain_scope: astronomy
  time_scope: present

왜냐하면 “우주의 중심은 태양이다”라고 말하면 현대 우주론과는 부정확해질 수 있기 때문이다. 코페르니쿠스 체계는 역사적으로 태양중심 모델이었지만, 현대적 표현에서는 “태양계에서 지구가 태양 주위를 공전한다”가 더 안전하다.

4. 세 단계의 차이를 한눈에 보기

명제

지식요건해당성

정합성

확증가능성

“지구는 우주의 중심이다.”

통과

현재 자연과학 체계에서는 탈락

현재 사실로 주장 금지

“프톨레마이오스 체계는 지구를 중심으로 보았다.”

통과

통과

역사적 사실로 주장 가능

“지구는 태양 주위를 돈다.”

통과

통과

현대 천문학 명제로 주장 가능

“코페르니쿠스는 지구가 태양 주위를 돈다고 보았다.”

통과

통과

과학사적 사실로 주장 가능

“천동설은 과거에 아무런 설명력을 갖지 못했다.”

통과 가능

부분 충돌 가능

조건부·유보적으로만 주장

“천동설은 현대 과학 기준으로 폐기된 이론이다.”

통과

통과 가능

문맥을 붙여 주장 가능

5. 여기서 중요한 포인트: 정합성은 “문맥 의존적”이다

LLM Wiki에서 정합성은 단순히 어떤 문장이 참인지 거짓인지 보는 것이 아니다.

정합성은 다음 요소에 따라 달라진다.

- claim_type: 사실인가, 역사적 이론인가, 견해인가, 해석인가?
- domain_scope: 천문학인가, 과학사인가, 철학사인가, 교육사인가?
- time_scope: 현재 기준인가, 2세기 프톨레마이오스 체계 기준인가, 16세기 코페르니쿠스 기준인가?
- source_scope: 누가 그렇게 주장했는가?
- answer_policy: 사실로 단정할 것인가, 견해로 소개할 것인가?

예를 들어:

“천동설은 맞다.”

이 문장은 정합성에서 탈락할 가능성이 크다.

하지만:

“천동설은 고대와 중세 천문학에서 중요한 설명 체계였다.”

이 문장은 정합성을 가질 수 있다.

또:

“프톨레마이오스 체계는 행성의 겉보기 운동을 설명하기 위해 주전원과 이심원 같은 장치를 사용했다.”

이 문장은 과학사적 설명으로서 정합성이 높다. 프톨레마이오스 체계에서 행성이 주전원을 따라 움직이고 그 주전원의 중심이 더 큰 원인 이심원을 따라 움직인다는 설명은 잘 알려진 프톨레마이오스 체계의 구조이다.

6. “정합성 추정”을 천동설 예시로 설명하기

필자가 3단계 지식체계론을 제시하면서 말한 원칙은 아래와 같다.

지식요건에 형식적으로 해당하면
명백한 정합성 배제사유가 없는 한
일단 정합성이 있는 것으로 추정한다.

이 원칙을 천동설에 적용하면 다음과 같다.

후보 claim

“프톨레마이오스 체계는 지구중심 우주론이다.”

1단계

형식적 요건을 갖췄다.

이론명 있음.
주장 내용 있음.
도메인 있음.
출처 부여 가능.

따라서 지식요건해당성이 있다.

2단계

이 claim은 “현재 지구가 우주의 중심이다”라고 말하는 것이 아니다. 단지 “프톨레마이오스 체계가 그런 이론이었다”고 말한다.
명백한 정합성 배제사유가 없다.
따라서 정합성이 추정된다.

정합성:
  presumed: true
  exclusion_found: false

3단계

출처가 충분하다면 확증가능성도 높다.

확증가능성:
  level: high
  answer_policy: assert_with_citation

8. 반대로 정합성 배제사유가 있는 경우

후보 claim

“현대 천문학에 따르면 지구가 우주의 중심이다.”

1단계

형식은 갖췄다.

지식요건해당성:
  passed: true

2단계

그러나 이 문장은 현대 천문학 지식질서와 명백히 충돌한다. 따라서 정합성 배제사유가 있다.

정합성:
  passed: false
  exclusion_reason:
    - "현대 천문학 지식질서와 충돌"
    - "역사적 이론을 현재 사실로 오분류"

3단계

정합성이 탈락했으므로 현재 사실로 주장할 수 없다.

확증가능성:
  level: none
  answer_policy: do_not_assert

하지만 완전히 삭제할 필요는 없다. LLM Wiki는 이 정보를 다음처럼 변형해서 보존할 수 있다.

corrected_claim:
  text: "프톨레마이오스 체계는 지구가 우주의 중심이라고 보았다."
  claim_type: historical_theory
  answer_policy: assert_with_citation

8. 확증가능성의 핵심: “맞다/틀리다”보다 “어떻게 말할 수 있는가”

천동설·지동설 예시에서 가장 중요한 단계는 사실 3단계이다.

LLM Wiki는 천동설을 무조건 삭제하면 안 된다. 왜냐하면 천동설은 현재 자연과학 명제로는 틀렸지만, 과학사적 지식으로는 매우 중요한 정보이기 때문이다.

따라서 확증가능성은 이렇게 나뉜다.

천동설_as_current_fact:
  answer_policy: do_not_assert
  allowed_expression: "현재 사실로는 받아들여지지 않는다."

천동설_as_historical_theory:
  answer_policy: assert_with_citation
  allowed_expression: "프톨레마이오스 체계는 지구중심 우주론이었다."

천동설_as_pedagogical_example:
  answer_policy: qualify
  allowed_expression: "천동설은 관측 자료와 이론 체계가 어떻게 재구성되는지를 보여주는 과학사적 사례다."

지동설_as_current_astronomy:
  answer_policy: assert
  allowed_expression: "태양계에서 지구는 태양 주위를 공전한다."

즉, 확증가능성은 지식을 폐기할지 보존할지가 아니라, 어떤 말투와 지위로 사용할지를 정한다.

9. LLM Wiki에 실제로 저장한다면

천동설 page

id: theory-ptolemaic-geocentrism
type: theory
title: "프톨레마이오스적 천동설"

지식요건해당성:
  passed: true
  reason: "역사적 이론으로서 주체, 내용, 시대, 출처가 특정됨"

정합성:
  passed: true
  reason: "현재 자연과학 사실이 아니라 과학사적 이론으로 저장됨"
  caveat:
    - "현재 천문학 사실로 주장하면 정합성 탈락"

확증가능성:
  level: high_as_historical_claim
  answer_policy: assert_as_historical_theory
  prohibited_use:
    - "assert_as_current_astronomical_fact"

canonical_claim:
  text: "프톨레마이오스 체계는 지구가 정지해 있고 우주의 중심에 있다고 보는 지구중심 우주론이다."

지동설 page

id: theory-copernican-heliocentrism
type: theory
title: "코페르니쿠스적 지동설"

지식요건해당성:
  passed: true
  reason: "이론의 주체, 내용, 역사적 맥락이 특정됨"

정합성:
  passed: true
  reason: "태양계에서 지구가 태양 주위를 돈다는 설명은 현대 천문학 지식질서와 양립함"

확증가능성:
  level: high
  answer_policy: assert_with_citation

canonical_claim:
  text: "코페르니쿠스 체계는 태양을 중심으로 놓고 지구와 다른 행성들이 태양 주위를 돈다고 본다."

10. 이 예시가 보여주는 3단계의 의미

천동설과 지동설을 통해 보면, 이 3단계 지식체계론은 다음처럼 작동한다.

지식요건해당성:
  천동설도 지식 형식은 갖출 수 있다.
  틀린 이론도 지식 단위로 기술될 수 있다.

정합성:
  천동설이 현재 사실로 들어오면 전체 과학 지식질서와 충돌한다.
  하지만 과학사적 이론으로 들어오면 정합성을 가진다.

확증가능성:
  천동설은 현재 사실로 단정할 수 없다.
  하지만 역사적 이론으로는 단정적으로 설명할 수 있다.
  지동설은 현재 태양계 설명으로 강하게 주장할 수 있다.

그래서 최종적으로 LLM Wiki는 이렇게 답해야 한다.

“천동설은 틀렸으니 삭제한다.”

가 아니라

“천동설은 현재 천문학 명제로는 주장할 수 없지만,
프톨레마이오스적 과학사 이론으로는 보존·설명할 수 있다.”

라고 처리해야 한다.

11. 한 줄 정리

천동설과 지동설 예시로 보면:

지식요건해당성은 ‘그 말이 지식 단위로 성립하는가’를 보고,
정합성은 ‘그 지식이 올바른 문맥에서 전체 지식질서와 양립하는가’를 보며,
확증가능성은 ‘그 지익이 현재 사실, 역사적 이론, 견해, 반례 중 무엇에 의해 뒷받침되어야 하는가’를 결정한다.

이렇게 보면 3단계 지식체계론은 단순히 “참/거짓 판별기”가 아니라, 틀린 이론도 적절한 지위로 보존하고, 맞는 이론은 적절한 강도로 주장하게 만드는 LLM Wiki의 지식 운영 원리가 된다.

12. 중요한 보완: 확증가능성은 정합성을 뒤집을 수도 있다

여기서 중요한 점이 하나 있다.

이 체계가 너무 보수적으로 작동하면, 기존 지식질서와 충돌하는 새로운 지식이 항상 정합성 단계에서 탈락할 위험이 있다.

그런데 과학사는 그렇지 않다.
지동설은 처음에는 기존 천동설 중심 지식질서와 충돌했지만, 점점 더 강한 관측적·이론적 확증을 얻으면서 오히려 기존 지식질서를 바꾸었다.

그래서 LLM Wiki에서는 이렇게 처리해야 한다.

기존 지식질서와 충돌한다
→ 무조건 탈락

이 아니라,

기존 지식질서와 충돌한다
→ 정합성 문제 있음
→ 확증가능성이 높은지 별도 심사
→ 높다면 disputed 또는 revision_candidate로 등록
→ 기존 지식질서를 수정하거나 supersede할 수 있음

즉, 정합성 탈락에는 두 종류가 있다.

정합성_문제:
  ordinary_incoherence:
    meaning: "근거 없는 오류 또는 문맥 착오"
    action: "reject_or_correct"

  revolutionary_conflict:
    meaning: "기존 지식질서와 충돌하지만 강한 확증가능성이 있는 새 지식"
    action: "mark_as_revision_candidate"

천동설·지동설 사례로 말하면:

지동설 초기:
  기존 천동설 체계와 정합성 충돌
  하지만 관측과 계산을 통해 확증가능성 증가
  결국 기존 지식질서를 수정

LLM Wiki:
  충돌 claim을 바로 삭제하지 않고,
  확증가능성이 높으면 체계 수정 후보로 보존

이건 아주 중요하다.
왜냐하면 좋은 지식체계는 단순히 기존 질서와 맞는 것만 받아들이는 체계가 아니라, 더 강하게 확증된 지식이 등장하면 기존 질서를 고칠 수 있는 체계여야 하기 때문이다.

13. 따라서 정합성과 확증가능성의 관계는 이렇게 잡는 게 좋다

정합성은 현행 지식질서와의 관계를 본다.
확증가능성은 증거와 근거의 강도를 본다.

둘의 조합은 네 가지가 나온다.

정합성

확증가능성

처리

높음

높음

확정 지식으로 사용

높음

낮음

보류 또는 약한 견해로 저장

낮음

낮음

오류 가능성이 높으므로 탈락 또는 수정

낮음

높음

기존 지식질서 수정 후보로 등록

마지막 칸이 중요하다.

정합성 낮음 + 확증가능성 높음
= 단순 오류가 아니라 패러다임 전환 후보

이 구조를 넣으면 3단계 지식체계론이 훨씬 강해진다.

knowledge_review:
  stage_1_knowledge_elements:
    label: "지식요건해당성"
    passed: true
    required_elements:
      - subject
      - predicate
      - object
      - claim_type
      - source_id
      - evidence_span
      - domain_scope
      - time_scope

  stage_2_coherence:
    label: "정합성"
    passed: true
    presumed_if_stage_1_passed: true
    coherence_exclusions:
      - contradiction_with_settled_claim
      - wrong_time_scope
      - wrong_domain_scope
      - category_error
      - source_misread
    conflict_handling:
      if_low_confirmability: "reject_or_correct"
      if_high_confirmability: "mark_revision_candidate"

  stage_3_confirmability:
    label: "확증가능성"
    level: strong
    basis:
      - direct_source
      - independent_corroboration
      - low_inference
      - no_unanswered_counterevidence
    answer_policy: assert_with_citation

14. “확증가능성” 안에 반드시 넣어야 할 하위 개념

확증가능성을 쓰려면, 단순히 “확증할 수 있다”로 끝내면 안 되고 다음 하위 개념을 넣는 게 좋다.

1. 출처확인성
   원자료 또는 신뢰 가능한 자료에 접근할 수 있는가?

2. 증거관련성
   그 자료가 실제로 이 claim을 뒷받침하는가?

3. 증거충분성
   근거가 충분한가, 단일한 약한 자료인가?

4. 독립확인성
   여러 독립 근거가 서로 보강하는가?

5. 반증검토성
   반대 근거를 검토했는가?

6. 추론절제성
   LLM의 추론이 과도하게 개입되지 않았는가?

7. 범위한정성
   어느 시대, 도메인, 학설, 관점에서 확증되는지 표시되어 있는가?

특히 반증검토성은 꼭 넣는 게 좋다.
왜냐하면 “확증가능성”이라는 말이 자칫하면 자기 주장에 맞는 증거만 모으는 확증편향처럼 오해될 수 있기 때문이다.

그래서 확증가능성은 이렇게 정의하는 게 안전하다.

확증가능성은 찬성 근거의 존재만이 아니라,
반대 근거를 검토한 뒤에도 해당 지식이 어느 정도 유지될 수 있는지를 포함한다.

15. 최종 용어 체계 제안

이 체계는 이렇게 정리하면 가장 좋다고 본다.

3단계 지식체계론

1. 지식요건해당성
   해당 정보가 LLM Wiki의 지식 단위로 성립하기 위한 형식적 요건을 갖추었는지 판단한다.

2. 정합성
   지식요건에 해당하는 정보가 전체 지식질서와 모순·충돌하지 않는지 판단한다.
   지식요건해당성이 인정되면 명백한 정합성 배제사유가 없는 한 정합성은 일응 추정된다.
   다만 정합성 충돌이 있더라도 확증가능성이 높은 경우에는 탈락시키지 않고 지식질서 수정 후보로 보존한다.

3. 확증가능성
   정합성이 인정되었거나 정합성 충돌에도 불구하고 검토할 가치가 있는 지식에 대하여,
   출처, 증거, 독립확인, 반대증거 검토, 추론개입도, 검토절차, 시점과 범위에 비추어
   그 지식이 어느 정도 확증될 수 있는지 판단한다.

16. 한 줄 결론

“확증가능성”은 3단계 지식체계론의 세 번째 단계로 매우 적합하다.

최종 구조는 이렇게 가면 좋다.

지식요건해당성 → 정합성 → 확증가능성

각 단계의 질문은 다음이다.

지식요건해당성:
  이것은 지식 단위로 성립하는가?

정합성:
  이것은 전체 지식질서와 양립하는가?

확증가능성:
  이것은 출처와 증거에 의해 어느 정도 확인될 수 있는가?

그리고 LLM Wiki의 실무 적용은 이렇게 된다.

확증가능성이 높으면 단정 가능.
확증가능성이 중간이면 조건부 주장.
확증가능성이 낮으면 견해로 소개.
확증가능성이 없으면 사실로 사용 금지.
정합성과 충돌하지만 확증가능성이 높으면 기존 지식질서 수정 후보.

이렇게 정리하면 “주장책임성”보다 훨씬 더 지식체계론다운 세 번째 단계가 된다.

17. 문제 1:위와 같은 3단계 지식체계론 schema 구성의 필요 여부

갑자기 근본적으로 위와 같은 3단계 지식체계론을 schema에 구성하는 것이 과연 llm wiki에 도움이 될지가 궁금해졌다. llm에게 맡기면 오히려 이보다 더 잘 설계해서 작동할 수도 있는데, 오히려 이러한 설계가 llm을 경직되게 하고 llm의 성능을 제한하는 것은 아닌지 의문이 들었다.

Prompt

이러한 schema, 즉 3단계 지식체계론을 llm wiki에 편입시키는 것이 더 나을지, 아니면 이것을 llm의 자체적인 판단에 맡기고 별도의 schema로 구성하지 않는 것이 더 나을지 모르겠어

이를 통해 받은 LLM의 답변은 다음과 같았다. 여기서부터 이 단락의 마지막 부분까지는 LLM의 답변을 그대로 수록하고자 한다.

내 판단은 이거야.

3단계 지식체계론은 LLM Wiki에 넣는 편이 낫다.
다만 “모든 지식에 붙는 거대한 형식요건”이 아니라, LLM의 판단을 구조화하는 얇은 admission schema로 넣는 게 좋다.

즉, LLM 자체 판단을 배제하는 schema가 아니라, LLM 자체 판단을 기록 가능하고 반복 가능하게 만드는 schema로 쓰는 게 맞아.

Karpathy의 LLM Wiki 구상 자체도 raw sources, wiki, schema의 세 층을 두고, schema를 LLM에게 wiki 구조·관례·ingest/query/lint workflow를 알려주는 핵심 설정 파일로 설명한다. 특히 schema가 LLM을 “generic chatbot”이 아니라 “disciplined wiki maintainer”로 만든다는 식의 취지가 들어 있다.

(1) 결론: “명시적 schema + LLM 판단”의 혼합형이 가장 좋다

선택지는 세 가지야.

A. 3단계 지식체계론을 명시적 schema로 넣는다.
B. LLM 자체 판단에 맡긴다.
C. 기본 schema는 넣되, 판단의 상당 부분은 LLM에게 맡긴다.

나는 C가 가장 좋다고 봐.

왜냐하면 LLM Wiki의 핵심은 LLM이 계속 source를 읽고, wiki를 수정하고, 충돌을 발견하고, synthesis를 갱신하는 데 있어. Karpathy도 LLM Wiki를 raw 문서에서 매번 답을 재발견하는 RAG와 달리, LLM이 persistent wiki를 점진적으로 만들고 갱신하는 구조로 설명한다.  그런데 이 과정에서 아무 schema도 없으면 LLM은 매번 그럴듯하게 판단하지만, 왜 이 지식이 편입되었는지, 왜 단정되었는지, 왜 폐기되었는지가 남지 않아.

반대로 schema를 너무 무겁게 만들면 LLM Wiki가 “살아 있는 지식베이스”가 아니라 “모든 문장마다 재판하는 관료제”가 될 수 있어.

그래서 추천은 이거야.

3단계 지식체계론은 넣는다.
그러나 모든 문장에 강제하지 않는다.
중요 claim, 충돌 claim, canonical claim, 업데이트 claim에만 명시적으로 적용한다.

(2) LLM 판단에만 맡기면 생기는 문제

LLM에게 “알아서 잘 판단해”라고 맡기는 방식은 초기에 빠르고 자연스럽다. 작은 개인 wiki, 브레인스토밍, 독서노트 정도라면 꽤 잘 작동할 수도 있다.

하지만 wiki가 커질수록 문제가 생긴다.

첫째, 판단 기준이 세션마다 달라진다.
오늘은 어떤 claim을 “충분히 근거 있음”으로 보고, 다음 세션에서는 같은 수준의 claim을 “불확실”로 볼 수 있다.

둘째, 확증가능성의 흔적이 남지 않는다.
나중에 “왜 이 claim을 사실처럼 썼지?”라고 물었을 때, 출처·증거·정합성 판단이 metadata로 남아 있지 않으면 재검토가 어렵다.

셋째, lint가 불가능해진다.
정합성: conflicted, 확증가능성: weak, answer_policy: qualify 같은 필드가 있어야 나중에 “약한 확증가능성인데 단정적으로 쓰인 claim”을 찾을 수 있다.

넷째, 새 정보가 들어왔을 때 기존 정보를 어디까지 바꿀 수 있는지 불분명해진다.
앞서 말한 기판력적 사고와 연결하면, 어떤 것이 holding이고 어떤 것이 reason인지, 어떤 claim이 settled이고 어떤 claim이 draft인지가 없으면 조용한 덮어쓰기가 발생한다.

최근 LLM Wiki 관련 연구에서도 raw 문서를 wiki로 “컴파일”할 때 중요한 사실이 빠지는 문제가 지적된다. WiCER 논문 초록은 blind compilation이 상당한 실패율을 보였고, diagnostic probe로 빠진 사실을 찾아 반복적으로 보정하는 방식이 품질 회복에 도움을 준다고 보고한다. 아직 하나의 연구 결과로 신중히 봐야 하지만, LLM에게 단순 압축·정리만 맡기면 지식 손실이 생길 수 있다는 문제의식은 네 schema 도입 쪽을 뒷받침한다.

(3) 그렇다고 무거운 schema가 항상 좋은 것은 아니다

반대로 3단계 지식체계론을 너무 엄격하게 넣으면 이런 문제가 생긴다.

- 모든 문장마다 지식요건해당성, 정합성, 확증가능성을 쓰느라 wiki가 비대해짐
- LLM이 본문보다 심사표 작성에 더 많은 에너지를 씀
- 확증가능성 등급이 기계적으로 붙어 가짜 객관성을 만들 수 있음
- 창의적 연결, 임시 가설, 탐색적 메모가 위축됨
- 사용자가 wiki를 읽을 때 지식보다 metadata가 더 많아짐

Karpathy도 LLM Wiki 아이디어 파일에서 구체적인 directory 구조, schema convention, tooling은 domain과 선호에 따라 달라진다고 하고, 필요한 것은 선택하고 불필요한 것은 버리라는 취지로 설명한다. 즉 schema는 고정 법전이라기보다 domain에 맞춰 co-evolve하는 설정 파일에 가깝다. 

그래서 네 3단계 지식체계론도 처음부터 완성된 대형 ontology로 넣기보다, 작게 넣고 점진적으로 발전시키는 게 좋다.

(4) 내가 추천하는 방식: “얇은 3단계 schema”

3단계 지식체계론은 LLM Wiki에 다음 정도로만 넣으면 충분해.

knowledge_review:
  지식요건해당성: pass | fail | uncertain
  정합성: presumed | coherent | conflicted | revision_candidate | rejected
  확증가능성: none | weak | moderate | strong | settled
  answer_policy: do_not_assert | mention_as_view | qualify | assert_with_citation | assert
  reason: "짧은 자연어 이유"

핵심은 reason이야.
등급만 있으면 기계적 분류가 되고, 이유가 있어야 나중에 사람이 이해할 수 있다.

예시는 이렇게.

knowledge_review:
  지식요건해당성: pass
  정합성: coherent
  확증가능성: strong
  answer_policy: assert_with_citation
  reason: "source가 해당 claim을 직접 뒷받침하고, 기존 wiki의 settled claim과 충돌하지 않음."

충돌하는 경우는 이렇게.

knowledge_review:
  지식요건해당성: pass
  정합성: conflicted
  확증가능성: moderate
  answer_policy: mention_as_disputed
  reason: "기존 settled claim과 결론이 다르지만, 새 source가 직접 근거를 제공하므로 rejected가 아니라 disputed로 보존."

이 정도면 충분히 실용적이야.

(5) 모든 곳에 붙이지 말고, 적용 대상을 나누는 게 좋다

가장 중요한 설계는 적용 강도의 차등화야.

1단계 적용: 일반 메모와 임시 노트

일반 독서 메모, 아이디어, 임시 요약에는 3단계 schema를 강제하지 않아도 된다.

적용 방식:
- LLM이 암묵적으로 판단
- 필요하면 본문에 “불확실”, “추후 검토” 정도만 표시

예:

## Note
이 논문은 LLM memory를 단순 retrieval보다 compiled representation으로 보는 관점을 제시하는 듯하다.

Status: rough note

여기에는 굳이 지식요건해당성: pass 같은 걸 붙이지 않아도 된다.

2단계 적용: claim page, concept page, source summary

wiki의 본문 지식으로 들어가는 claim에는 압축된 3단계 schema를 붙이는 게 좋다.

적용 방식:
- frontmatter 또는 claim block에 3단계 요약 필드 추가
- 확증가능성 등급과 answer_policy 기록

예:

claim_id: claim-llmwiki-001
text: "LLM Wiki는 raw source를 매번 재검색하는 대신, LLM이 persistent wiki를 점진적으로 구축하는 방식이다."

knowledge_review:
  지식요건해당성: pass
  정합성: coherent
  확증가능성: strong
  answer_policy: assert_with_citation
  reason: "Karpathy의 LLM Wiki 설명에서 직접 확인됨."

3단계 적용: 충돌 claim, canonical claim, policy claim

여기는 엄격하게 해야 한다.

적용 대상:
- 기존 지식을 대체하는 claim
- settled claim과 충돌하는 claim
- source 간 충돌이 있는 claim
- wiki policy
- 법학, 의학, 과학, 재무처럼 정확성이 중요한 claim
- 사용자가 반복해서 참조할 canonical page

이 경우에는 3단계를 조금 더 자세히 쓴다.

knowledge_review:
  지식요건해당성:
    result: pass
    reason: "subject, predicate, object, source_id, evidence_span 존재"

  정합성:
    result: conflicted
    conflict_with:
      - claim-2026-05-20-004
    treatment: disputed
    reason: "기존 claim과 결론이 다르나 새 source가 직접 근거를 제공함"

  확증가능성:
    level: moderate
    evidence_quality: direct
    independent_confirmation: absent
    counterevidence_reviewed: partial
    inference_level: low
    answer_policy: mention_as_disputed

즉, 중요도에 따라 schema의 두께를 다르게 해야 한다.

(6) 3단계 지식체계론은 “LLM을 대체”하는 것이 아니라 “LLM의 판단을 노출”하는 것이다

이 지점이 제일 중요해.

3단계 schema를 넣는다고 해서 LLM의 판단을 없애는 게 아니야. 오히려 LLM 판단을 더 잘 쓰는 거야.

schema 없음:
  LLM이 판단한다.
  그러나 판단 기준과 결과가 사라진다.

schema 있음:
  LLM이 판단한다.
  그리고 그 판단을 지식요건해당성, 정합성, 확증가능성으로 기록한다.

즉 schema는 판사가 아니라 판결문 양식에 가깝다.

LLM은 여전히 판단한다.
다만 판단을 다음 세 질문으로 나누어 남긴다.

1. 이것은 지식 단위로 성립하는가?
2. 기존 지식질서와 충돌하지 않는가?
3. 어느 정도 확증 가능한가?

이렇게 하면 나중에 사람이 검토하기 쉽고, 다른 LLM이 이어받아도 기준이 유지된다.

(7) 가장 좋은 실무 구조

나는 다음 구조를 추천해.

llm-wiki/
  AGENTS.md
  raw/
  wiki/
    index.md
    log.md

    claims/
    concepts/
    sources/
    disputes/

    policies/
      knowledge-admission.md
      update-and-supersession.md
      evidence-and-confirmability.md

    reviews/
      knowledge-review-log.md
      contradiction-register.md
      weak-confirmability-register.md

그리고 AGENTS.md에는 원칙만 짧게 둔다.

## 3단계 지식체계론

LLM은 중요한 지식을 wiki에 편입할 때 다음 세 단계를 적용한다.

1. 지식요건해당성
정보가 wiki의 지식 단위로 성립할 형식요건을 갖추었는지 판단한다.

2. 정합성
해당 정보가 기존 지식질서와 모순·충돌하지 않는지 판단한다.
지식요건해당성이 인정되면 명백한 정합성 배제사유가 없는 한 정합성은 일응 추정한다.
정합성 충돌이 있더라도 확증가능성이 높으면 rejected가 아니라 disputed 또는 revision_candidate로 보존한다.

3. 확증가능성
출처, 증거직접성, 독립확인성, 반대증거 검토, 추론개입도, 시점과 범위에 비추어
해당 지식이 어느 정도 확증될 수 있는지 판단한다.

확증가능성 등급:
- none
- weak
- moderate
- strong
- settled

answer_policy:
- do_not_assert
- mention_as_view
- qualify
- assert_with_citation
- assert

이 정도면 충분해.

(8) schema로 넣을 때 특히 조심할 점

첫째, 정합성을 너무 강하게 쓰면 안 된다

정합성은 기존 지식질서와의 충돌 검사야. 그런데 기존 지식질서가 틀렸을 수도 있다.

그래서 네 체계에는 반드시 이 규칙이 들어가야 해.

정합성 충돌 + 확증가능성 낮음
→ reject 또는 correction

정합성 충돌 + 확증가능성 높음
→ revision_candidate 또는 disputed로 보존

이 규칙이 없으면 지동설 같은 새 지식은 기존 천동설 체계에 안 맞는다는 이유로 탈락해버린다.

둘째, 확증가능성을 “진리성”과 동일시하면 안 된다

확증가능성: settled은 “영원히 참”이 아니라:

현재 wiki의 출처와 증거 체계 안에서 안정적으로 사용할 수 있음

이라는 뜻이어야 한다.

그래서 항상 as_of, domain_scope, source_scope가 필요하다.

확증가능성:
  level: settled
  as_of: 2026-05-29
  domain_scope: "현대 천문학"

셋째, LLM의 창의적 연결을 막으면 안 된다

LLM Wiki의 장점 중 하나는 source들 사이의 연결을 만들어내는 것이다. Karpathy도 LLM이 source를 읽고 key information을 추출하고, 기존 wiki에 통합하고, entity/concept page를 갱신하고, contradiction을 표시하는 식으로 지식이 누적된다고 설명한다. 

따라서 모든 연결을 “확증가능성 strong”으로 요구하면 안 된다.

대신 다음처럼 나누면 된다.

claim_type:
  - fact
  - historical_fact
  - interpretation
  - analogy
  - hypothesis
  - question
  - synthesis

(9) 언제 schema를 생략해도 되는가

다음 경우에는 굳이 3단계 schema를 명시하지 않아도 된다.

- 순수한 임시 메모
- brainstorming
- 사용자가 직접 쓴 개인적 생각
- 아직 source를 붙이지 않은 reading note
- wiki에 정식 편입되지 않은 scratchpad
- 단순 index update
- 단순 링크 추가
- 문체 수정

이런 것까지 전부 3단계로 심사하면 부담이 커진다.

대신 상태를 이렇게 두면 된다.

status: scratch | draft | candidate | admitted | disputed | settled

scratch, draft 단계에서는 3단계를 생략하고, candidate → admitted로 갈 때 3단계를 적용한다.

(10) 최종 추천 운영 방식

내가 추천하는 운영 규칙은 이거야.

1. LLM Wiki에 3단계 지식체계론을 명시적으로 넣는다.
2. 단, 모든 문장에 적용하지 않는다.
3. wiki에 정식 편입되는 claim에만 압축 적용한다.
4. settled claim, 충돌 claim, 새 정보로 기존 정보를 대체하는 경우에는 엄격 적용한다.
5. scratch note, brainstorming, 단순 요약에는 생략한다.
6. 확증가능성은 answer_policy와 연결한다.
7. 정합성 충돌이 있어도 확증가능성이 높으면 revision_candidate로 남긴다.
8. schema 자체도 주기적으로 lint하고 수정한다.

한 줄로 정리하면:

3단계 지식체계론은 LLM Wiki의 “판단을 대신하는 규칙”이 아니라, LLM의 지식 편입 판단을 반복 가능하고 감사 가능하게 만드는 최소 절차로 넣는 것이 좋다.

그래서 네가 넣으려는 방향은 맞다고 봐.
다만 “강한 schema”가 아니라 얇고 점진적으로 진화하는 schema로 시작하는 것이 가장 안전하다.

위와 같은 답변을 받았다.

이렇게 함으로써 3단계 지식체계론은 LLM의 검증도 통과했다.

이를 구현하는 구체적인 방법이 남아있는데, 그 전에 다른 문제에 직면했다.

18. 문제 2:다양한 정보에의 적용 문제

그렇다면 내가 갖고 있는 모든 정보가 바로 이 3단계 지식체계론의 검증 대상이 될까? 되어야 할까? 개인 일기나 개인의 감상, 의견, 여행자료, 사진자료와 같은 데이터들을 3단계 지식체계론을 적용하는 것이 타당할까? 예를 들어 "나는 피렌체를 좋아한다"라는 데이터가 3단계 지식체계론의 검증을 거칠 필요가 있을까? 그렇다면 위와 같은 정보는 어떤 방식으로 지식화, wiki화를 해야 할까?

위와 같은 물음이 생겼다.

객관적 지식에 대해서는 3단계 지식체계론을 적용하는 것이 타당성이 있다고 생각한다. 물론 이 역시 사람마다 다를 수 있다. 하지만 데일리 노트, 감상 등의 주관적 자료들을 위의 잣대로 평가할 수는 없는 것 아닌가? 아예 중립적인 자료, 사진, 음악, 동영상과 같은 자료를 3단계 지식체계론을 적용시킨다면 그게 무슨 의미가 있을까?

이에 대해서는 "지식유형론"이라는 별도의 이론을 통해 schema를 다듬을 수 있었다. "지식유형론"을 비롯한 다른 schema의 이론적 근거에 대해서는 별도의 사례에서 다루도록 하겠다.

3
4개의 답글

뉴스레터 무료 구독

신청하기