llm-wiki-test를 통해 3단계 지식체계론 구현 검증(3)

1. 도입

inbox에 있는 정보를 wiki에 지식으로 편입하기 위해 "3단계 지식체계론"이라는 검증절차를 세우고 3개의 각각 다른 성격의 문서를 ingest해 보았다.

그렇다면 3단계 지식체계론이 없는, 일반적인 schema만 있을 때에 똑같은 문서를 LLM-Wiki에서 ingest하면 어떤 결과가 나올까?

그래서 똑같은 llm-wiki를 만들되, 3단계 지식체계론이 없는 llm-wiki에서 위 3가지 문서를 ingest해 보았다.

2. ingest 결과

LLM은 6분 29초동안 ingest 작업을 수행한 후 다음과 같은 메시지를 출력했다.

완료했습니다. inbox/docs의 3개 문서를 sources/docs로 이동했고, source-index.md에 SRC-001부터 SRC-003까지 등록했습니다.

추가로 원본 요약 3개와 개념 문서 3개를 만들고, index.md, log.md, 관련 운영 문서의 “아직 ingest 없음” 문구도 정리했습니다.

검증 결과:

- inbox/docs는 비어 있음
- 신규 source/source-summary/concept 경로 모두 존재
- 세종대왕.md는 검증 필요 주장이 섞여 있어 review-needed로 표시해두었습니다.

inbox 폴더는 비었고, sources/docs에 원본 문서가 저장돼있었으며, wiki 폴더에는 concepts, source-summaries 폴더에 3개의 문서가 각각 생겼다.

2.1 concept/서시.md 및 source-summaries/SRC-001-서시.md의 내용

concept/서시.md의 메타데이터는 아래와 같다.

type: concept
status: draft
updated: 2026-05-31
summary_l0: "윤동주 「서시」의 양심과 소명 의식"
summary_l1: "이 문서는 SRC-001에 기록된 「서시」 원문을 바탕으로 작품의 핵심 정서와 해석 후보를 정리한다. 작품은 부끄럼 없는 삶을 향한 바람, 작은 흔들림에도 괴로워하는 양심, 죽어가는 존재를 사랑하려는 태도, 자신에게 주어진 길을 걷겠다는 결심을 중심으로 읽을 수 있다. 현재 문서는 원문 하나에 근거한 초안이며, 저자와 발표 맥락은 추가 출처로 보강할 수 있다."
source_refs:
- SRC-001
tags:
- poetry
- korean-literature

3단계 지식체계론이 적용되지 않았기 때문에 LLM이 자체적으로 판단해서 summary_L0과 L1을 작성했다. 주로 서시의 내용에 기초하여 summary를 했다.

이와 관련된 source-summaries/SRC-001-서시.md의 메타데이터 및 내용은 다음과 같다.

type: source-summary
status: draft
updated: 2026-05-31
summary_l0: "윤동주 시 「서시」 원문"
summary_l1: "SRC-001은 윤동주의 시 「서시」 원문을 담은 짧은 문서다. 원문은 부끄러움 없는 삶을 바라는 마음, 작은 흔들림에도 괴로워하는 양심, 죽어가는 존재에 대한 사랑, 자신에게 주어진 길을 걸어가려는 태도를 중심으로 전개된다. 현재 요약은 원문 내용의 정서와 주제 후보만 정리하며, 작품 해석은 별도 위키 문서에서 다룬다."

source_refs:
- SRC-001
tags:
- poetry
- korean-literature

SRC-001 서시 요약

원본 정보

Source ID: SRC-001
원본 위치: sources/docs/서시.md
자료 유형: document
민감자료 확인: API Key, 토큰, 비밀번호, 주민등록번호, 계좌번호, 전화번호 등 민감정보 발견 없음.

핵심 요약

원본은 윤동주의 시 「서시」 전문이다. 화자는 하늘을 우러러 부끄럼 없는 삶을 바라며, 사소한 바람에도 괴로워할 만큼 예민한 양심을 드러낸다.

시의 후반부는 별을 노래하는 마음, 죽어가는 존재에 대한 사랑, 자신에게 주어진 길을 걸어가겠다는 다짐으로 이어진다.

위키에 반영할 지식 후보

「서시」는 부끄럼 없는 삶, 양심, 사랑, 소명 의식을 핵심 정서로 다룬다.
작품 속 별과 바람은 화자의 내면과 윤리적 긴장을 드러내는 이미지로 정리할 수 있다.
원문 전체 인용보다는 핵심 주제와 해석 후보를 분리해 다루는 것이 좋다.

연결될 수 있는 문서

서시

남은 질문

작품의 저자, 발표 시기, 문학사적 맥락을 보강할 외부 출처를 추가할지 결정해야 한다.

위와 같은 내용으로 source-summaries 폴더 아래 서시 관련 내용이 작성되었다.
뭔가 LLM이 내용을 요약하고 평가를 내려서 글의 내용이 풍부해진 느낌이다.
실제로 3단계 지식체계론을 거친 지난 llm-wiki-test1에서의 source-summaries에 있는 같은 이름의 문서의 핵심 요약에는 다음의 내용만 무미건조하게 있었다.

- 한국어 시 원문으로 구성된 자료다.
- 파일명은 `서시.md`이며, 본문은 짧은 시 형태다.
- 위키에는 원문 전체를 재수록하지 않고, 문학 자료로서의 존재와 활용 원칙만 기록한다.

여기서 중요한 차이점은 3단계 지식체계론을 거쳤던 지난 위키에서는 원문을 수록하지 않는다는 것이었다. 하지만 3단계 지식체계론을 거치지 않은 이번 위키에서는 원문을 해설했고, 요약했으며, 또한 위키에 지식으로 반영할 후보를 만들었다는 점이 차이가 있었다.

이러한 차이는 앞으로 llm-wiki를 어떤 식으로 운영해야 할 것인지 중요한 숙제를 남겨주었다.

2.2 영주 부석사 무량수전의 wiki 파일의 내용

concept/영주 부석사 무량수전.md 파일의 메타데이터는 아래와 같다.

type: concept
status: draft
updated: 2026-05-31
summary_l0: "영주 부석사 무량수전의 연대와 건축미"
summary_l1: "이 문서는 SRC-003을 바탕으로 영주 부석사 무량수전의 시대, 국보 지정, 건립 연대 추정, 건축적 평가를 정리한다. 원본은 무량수전을 고려 시대 중기 건물로 추정하고 1962년 국보 제18호 지정 사실을 제시한다. 건립 시기는 직접 기록이 없어 중수 기록을 근거로 추정한다고 설명하며, 봉정사 극락전과 예산 수덕사 대웅전과의 비교도 함께 다룬다."
source_refs:
- SRC-003
tags:
- architecture
- heritage
- buddhist-temple

3단계 지식체계론을 따르지 않았기 때문에 해당 내용 중 claim으로 검증 대상이 될 사항에 대한 별도의 검증은 없고 해당 내용을 요약해서 수록했음을 알 수 있다.

이어서 source-summaries에 있는 같은 이름의 문서를 살펴본다.

핵심 요약

원본은 경상북도 영주시 부석사의 무량수전을 고려 시대 중기 건물로 추정되는 현존 고려 건축물로 설명한다. 1962년에 국보 제18호로 지정되었다고 기록한다.

건립 연대는 직접 기록이 없어 중수 기록으로 추정한다고 설명한다. 원본은 1376년 진각국사 천희의 중수 기록과 전통 건물의 수리 주기를 바탕으로 건립 시기를 더 이른 시기로 본다.

무량수전은 봉정사 극락전, 예산 수덕사 대웅전과 비교된다. 원본은 봉정사 극락전이 구조미를, 부석사 무량수전이 형태와 비례미를 잘 보여준다고 평가한다.

위키에 반영할 지식 후보

무량수전은 고려 시대 목조건축, 국보, 부석사와 연결되는 문화유산 문서로 정리할 수 있다.
건립 연대는 확정 표현보다 추정 표현을 유지해야 한다.
봉정사 극락전과 예산 수덕사 대웅전은 비교 문서나 관련 문서 후보가 된다.
건축적 평가는 원본의 평가로 표시하고, 추후 전문 출처로 보강하는 것이 좋다.

연결될 수 있는 문서

영주 부석사 무량수전

남은 질문

국보 지정 정보와 중수 기록을 검증할 공식 문화유산 출처를 추가 ingest할지 결정해야 한다.

이것을 보면, 일단 문서가 어떠하든지, 그 내용이 무엇이든지 LLM은 위키에 반영할 지식 후보를 선별하여 정리하는 것을 알 수 있다.
다만, LLM 나름대로의 평가기준에 따라 건립 연대와 같이 확실하지 않은 정보는 자체적으로 추정 표현을 유지해야 함을 밝히고 있다. 또한 건축적 평가는 원본의 평가로 표시해서 최대한 객관성을 유지하고자 함을 알 수 있다. 하지만 3단계 지식체계론에 따른 것보다는 세밀하지 못하다는 점을 알 수 있다.

2.3 세종대왕의 wiki 파일의 내용

드디어 세종대왕에 관하여 LLM이 어떻게 처리했는지 살펴볼 시간이 왔다.

먼저, concepts/세종대왕.md의 내용이다.

이 문서는 중요한 논의를 담고 있으므로 파일의 전문을 수록하고자 한다.

type: concept
status: draft
updated: 2026-05-31
summary_l0: "세종대왕 관련 원본 주장과 검토 항목"
summary_l1: "이 문서는 SRC-002에 들어 있는 세종대왕 관련 주장을 검토용 지식으로 정리한다. 원본에는 조선 제4대 왕, 한글 창제처럼 역사 정보로 확인할 수 있는 후보와 존경, 추앙, 외모 평가 같은 평가적 진술이 섞여 있다. 아이패드 관련 진술과 단종의 아버지라는 진술은 사실 문서에 단정적으로 반영하지 않고 검토 필요 항목으로 분리한다."
source_refs:
- SRC-002
tags:
- history
- joseon
- review-needed

세종대왕

한 줄 요약

SRC-002의 세종대왕 문서는 사실 후보, 평가적 진술, 검토 필요 주장이 섞여 있어 분리해서 다뤄야 한다.

핵심 내용

원본은 세종대왕을 조선의 제4대 왕이자 한글 창제와 연결되는 인물로 제시한다. 이 두 항목은 역사 지식 문서로 확장할 수 있는 후보지만, 현재 문서는 SRC-002만 근거로 삼으므로 공식 출처 보강 전에는 검증 후보로 남긴다.

원본에는 세종대왕이 존경받을 만하다는 평가와 업적이 널리 알려져야 한다는 주장도 들어 있다. 이런 문장은 사실 정보라기보다 가치 판단이나 서술 방향으로 분류한다.

외모 평가, 아이패드 관련 진술, 단종의 아버지라는 진술, 모든 한국 사람이 추앙해야 한다는 표현은 컴파일 지식으로 단정하지 않는다. 특히 시대착오적 표현이나 친족 관계 주장은 별도 검증이 필요하다.

3. 결론

그렇다면 3단계 지식체계론을 적용하는 것은 LLM의 분류 및 검증, 판단의 근거를 명확히 할 뿐 아니라 사후 추적이 가능하며, 발생할 수 있는 hallucination을 방지할 수 있다는 점에서도 충분히 도입할만한 가치가 있다는 생각이 든다.

특히 세종대왕에 관한 문서에서 3단계 지식체계론을 적용하지 않은 문서에서는 "평가적 진술과 사실 진술을 분리해 기록해야 한다"고만 하고 있을 뿐, 어떠한 진술이 사실 진술이고 어떠한 진술이 평가적 진술인지를 구분하지 않은 채 모호하게(물론 문서의 문맥을 읽으면 사실 진술과 평가적 진술이 파악되기는 한다) 서술해 놓았지만 3단계 지식체계론을 통해 처음부터 진술을 명확히 구분해 놓으면 진술의 신빙성이 훨씬 높아지고 안정적이 될 것으로 생각된다.

또한 본 세종대왕에 관한 진술처럼 짧고 이해하기 쉬운 문서의 경우에는 어떤 것이 사실 진술이고 어떤 것이 평가적 진술인지 파악이 용이하지만, 복잡한 문서인 경우에는 이를 구분하는 것이 쉽지 않을 수도 있다. 그보다도 애초에 LLM Wiki를 작성하는 목적이 이러한 판단을 사용자가 문서를 읽고 내리는 것이 아니라 LLM이 스스로 판단하도록 하기 위한 것임을 볼 때, LLM이 위와 같이 모호하게 "평가적 진술과 사실 진술을 분리해 기록해야 한다"고만 하는 것은 어찌보면 무책임한 LLM이라고 할 수도 있을 것이다.

따라서 비록 몇 안 되는 3개의 문서였지만, 3단계 지식체계론을 적용한 경우와 그렇지 않은 경우를 비교해봄으로써 3단계 지식체계론의 효용성은 어느 정도 입증되었다고 생각된다. 특히 사실과 평가를 구분해야 하는 부분이 있을 때, 객관적 사실의 진위여부가 중요하게 다루어지는 문서인 경우, 지식자료의 무결성을 엄격하게 지켜야 하는 상황에서 이 3단계 지식체계론은 충분히 도입할만한 schema로 생각된다.

4. 제기된 의문과 그 해결

그렇지만 '서시'와 같은 문학작품에 있어 3단계 지식체계론이 적용된 경우와 그렇지 않은 경우는 차이가 확연하다. 그런데 이 경우는 3단계 지식체계론이 적용된 경우가 반드시 우월하다고 할 수만은 없다. 3단계 지식체계론이 적용된 경우의 '서시'는 문학작품으로만 취급되고, 그 내용에 대해서는 전혀 다루어지지 않는다. 즉, '서시라는 문학작품의 존재'에 대해서만 wiki가 판단하는 것이다. 서시의 내용에 대해서는 요약하거나 wiki에 편입하지 않는다.

반면에 3단계 지식체계론을 적용시키지 않는 경우에는 '서시'라는 시의 내용에 대해 wiki에 지식으로 반영할 여지를 준다. 다만, 서시의 원문이 아닌, 서시에 대한 요약이나 평가를 그 내용으로 하고 있다.

그래서 고민이 된다. 이러한 문학작품에 대해서는 어떤 방식으로 접근하는 것이 좋을지.

그래서 3단계 지식체계론을 적용한 llm-wiki와 그렇지 않은 llm-wiki에게 같은 질문을 했다. '서시의 내용에서 별과 바람이 어떤 역할을 하고 있는지? 본 llm-wiki에 근거하여 제시해' 라는 내용의 질의를 해 보았다.

먼저, 3단계 지식체계론이 적용된 llm-wiki에서의 답변이다.

• 현재 LLM Wiki 기준으로는 서시의 별/바람 해석이 아직 공식 claim으로 따로 편입되어 있지는 않다. 그래서 아래 답변은 SRC-009 원문에 근거한 문학적 해석이며, 위키의 정책상 assert가 아니라 qualify 수준으로 제시하는 것이 맞다.             

 별은 시 안에서 지향해야 할 이상, 맑은 마음, 윤리적 방향성의 역할을 한다. 원문에서 별은 “노래하는 마음”과 연결되고, 죽어가는 것을 사랑하겠다는 태도 및 주어진 길을 걸어가겠다는 결심과 이어진다. 따라서 별은 단순한 자연물이 아니라 화자가 붙들고자 하는 내면의 기준에 가깝다.                                                
 바람은 작은 흔들림, 양심의 민감함, 현실의 스침을 드러내는 역할을 한다. 원문 초반에서 화자는 아주 작은 바람에도 괴로워하는 존재로 나타나고, 마지막에서도 별이 바람에 스치는 장면이 나온다. 그래서 바람은 화자의 이상을 무너뜨리는 절대적 장애라기보다, 그 이상이 현실 속에서 계속 시험받고 흔들리는 조건으로 볼 수 있다.                           

 정리하면, 별은 화자가 향하는 윤리적 이상이고, 바람은 그 이상을 스치며 흔들리게 하는 현실적·내면적 긴장이다. 둘이 함께 놓이면서 시는 “순수한 이상을 품고 살고자 하지만, 아주 작은 흔들림에도 괴로워하는 자기 성찰”을 보여준다.            

 근거는 SRC-009 원문과 llm-wiki/wiki/source-summaries/SRC-009-seosi.md에 있다. 다만 위키가 명시하듯, 현재 서시 문서는 원문 자료 관리 노트 수준이므로 이 해석은 확정된 공식 지식이 아니라 짧은 원문 근거에 기반한 해석으로 다루는 것이 적절하다.

이에 비해 3단계 지식체계론이 적용되지 않은 llm-wiki의 답변은 아래와 같다.

본 llm-wiki 기준으로 보면, 「서시」에서 **별**과 **바람**은 화자의 내면을 드러내는 상징적 이미지입니다.

**별**은 화자가 지향하는 순수함, 양심, 삶의 방향을 떠올리게 합니다. 위키의 서시 개념 문서는 “별은 지향점과 순수한 마음”을 나타낸다고 정리합니다. seosi.md (line 24)

**바람**은 그 순수한 마음을 흔드는 미세한 자극이자, 화자가 느끼는 윤리적 긴장을 드러냅니다. 같은 문서에서 “바람은 양심을 흔드는 미세한 자극”이라고 설명하고, source-summary도 “사소한 바람에도 괴로워할 만큼 예민한 양심”을 드러낸다고 요약합니다. seosi.md (line 24), SRC-001-seosi.md (line 25)

따라서 둘을 함께 보면, **별은 화자가 닿고 싶은 윤리적 이상**, **바람은 그 이상을 향해 가는 과정에서 느끼는 흔들림과 양심의 민감함**입니다. llm-wiki는 이를 “화자의 내면과 윤리적 긴장을 드러내는 이미지”로 정리해두었습니다. SRC-001-seosi.md (line 32)

내용은 LLM이 비슷하게 해석한 것으로 보인다. 다만, 차이가 있다. 3단계 지식체계론이 적용된 llm-wiki에서는 서시의 원문은 있지만, 별/바람 해석이 공식 claim으로 있지는 않음을 밝히면서 별과 바람에 대한 문학적 해석을 LLM이 스스로 보충하지만, 확정된 공식 지식이 아니라 짧은 원문 근거에 기반한 해석으로 다루는 것이 적절하다는 코멘트를 남기고 있다.

반면에, 3단계 지식체계론이 적용되지 않은 llm-wiki에서는 wiki의 concept 문서에 나타난 내용과 source-summary에 나타난 요약을 근거로 들어 해석을 제시한다.

따라서 이는 일장일단이 있는 것 같다. 문학작품으로 원문을 검증, 보존하고 내용에 대해서는 별도의 해석이나 평가를 하지 않고 있다가 질의가 들어오면 LLM이 스스로 답변을 생성하는 3단계 지식체계론이 적용된 위키와 문학작품의 내용 중 일부를 해석하여 wiki에 편입시킨 후 이에 근거하여 답변을 도출하는 3단계 지식체계론이 적용되지 않은 위키는 각각 장단점을 갖고 있는 것이다.

다만, 처음의 우려는 3단계 지식체계론이 적용된 wiki에서는 서시의 내용에 나타난 일부 상징에 대해 llm-wiki에 근거한 답변을 제시하도록 물어볼 경우에 제대로 답변을 하지 않을지도 모른다는 것이었으나 근거에 차이가 있을 뿐, 답변의 내용은 크게 차이가 없는 것으로 생각된다.

따라서 이것은 선택의 문제가 되었다. 어떤 시스템이 우월하고 어떤 시스템이 열후하다는 문제가 아니라 정책의 문제 또는 취향의 문제가 되는 것이다.

📣 23기 AI 스터디 주제를 확인해보세요!