AI가 정보의 종류에 따라 유형별로 분류하여 체계적으로 관리하는 LLM-Wiki 샘플 테스트

📝 한줄 요약

법무·업무 근거 자료를 체계적으로 관리하기 위해 AI 코딩 에이전트 Codex와 함께 LLM Wiki를 구축했고, 하루 세션 만에 "모든 정보를 유형별로 분류해 심사하는 지식 관리 시스템"이 만들어졌다.

바쁘시면 이것만 읽어도 돼요:

Codex로 개인 지식 위키(LLM Wiki) 구축 — 법무 근거 자료를 AI가 유형별로 분류해 관리
핵심 깨달음: 정보에는 종류가 있다 — 객관적 사실, 주관적 경험, 참고 자료를 같은 방식으로 다루면 안 된다
직접 쓴 이론 문서를 AI에게 넘겼더니, AI가 기존 위키 체계 전체를 재설계해줬다
피렌체 여행기를 넣었더니 AI가 "이건 사실이 아니라 당신의 경험"이라고 구분하고 여행 선호 단서로 정리한 순간이 인상적이었다
앞으로 어떤 자료든 일관된 기준으로 위키에 쌓을 수 있는 기반이 생겼다
AI에게 "해줘"보다 기준을 먼저 만들어두는 것이 핵심

🎯 이런 분들께 도움돼요

법무·행정·공공기관에서 AI 답변의 근거를 체계적으로 관리하고 싶은 분
AI에게 업무 자료를 맡겼을 때 "이게 맞나?" 불안한 분 — 근거 기반 위키가 해결책이 될 수 있다
공문서, 법령, 판례, 회의 메모, 개인 의견이 뒤섞여 관리가 안 되는 분

😫 문제 상황 (Before)

법무·행정 업무에서 AI를 활용할 때 가장 불편한 점이 있다. AI가 답변을 잘 해주는 것 같은데, 그 답변의 근거가 어디서 왔는지, 공식 법령인지 블로그 글인지, 직접 정리한 메모인지 구분이 안 된다는 것이다.

특히 "계약보증금 불이행 시 법적 효과가 뭐야?"처럼 정확한 근거가 중요한 질문일수록, AI가 "그럴듯한 표현"으로 답하는 것과 "법령 원문에 근거한 표현"으로 답하는 것은 전혀 다른 의미를 가진다.

그러다 보니 자연스럽게 이런 필요가 생겼다.

AI가 답변할 때 참조하는 자료들을 내가 직접 심사하고, 신뢰도와 유형에 따라 분류해서 쌓아두면 어떨까?

하지만 막상 시작하려니 문제가 있었다. 법령, 판례, 실무 메모, 참고 블로그, 이미지 슬라이드, 심지어 개인 여행기까지 — 들어오는 자료의 형태가 너무 다양했다. 이것들을 어떤 기준으로 분류하고 관리해야 할지 체계가 없었다.

🛠️ 사용한 도구

도구: Codex (OpenAI, GPT-5 기반 AI 코딩 에이전트)
모델: GPT-5
작업 방식: 터미널에서 Codex와 대화하며 위키 파일들을 직접 생성·수정
위키 저장소: 로컬 Markdown 파일 기반 (Obsidian으로 열람)

🔧 작업 과정

내가 쓴 이론 문서를 AI에게 넘겼더니 — 위키 체계가 재설계됐다

이 위키 프로젝트에는 이미 "3단계 지식체계론"이라는 자체 규칙이 있었다. 어떤 정보든 ① 지식으로 볼 수 있는가 → ② 기존 체계와 충돌하지 않는가 → ③ 확인 가능한가, 이 세 단계를 통과해야 위키에 공식 지식으로 올라가는 구조였다.

그런데 이 체계의 한계를 느끼고 직접 개선안을 글로 써뒀다. "지식체계론의 확장 및 수정"이라는 제목의 문서였다. 핵심 문제의식은 이것이었다.

"나는 피렌체를 좋아한다"는 사실 주장이 아니다.
사진이나 슬라이드는 지식이 아니라 지식을 뒷받침하는 자료다.
모든 정보에 같은 심사 기준을 적용하는 건 맞지 않다.

이 문서를 Codex에게 넘기며 한 줄 요청했다.

이 파일을 읽고 우리 체계에 맞춰봐

Codex는 먼저 기존 위키의 모든 규칙 문서와 스키마 파일들을 하나씩 읽었다. 그러고 나서 설계 판단을 내놨다.

기존 3단계 체계는 폐기하지 않았다. 대신 위치를 바꿨다. "모든 정보에 적용하는 만능 필터"가 아니라, "객관적 사실 주장을 공식 지식으로 인정할 때만 쓰는 기준"으로 자리를 잡아줬다. 그리고 그 위에 새로운 분류 게이트를 추가했다.

정보가 들어오면 먼저 이 질문을 던지는 구조가 됐다.

이것은 참고 자료(Resource)인가?
객관적 사실 주장(Claim)인가?
특정인의 경험·의견·감정(주체귀속 정보)인가?

유형이 결정되면 그에 맞는 기준이 적용된다. 법령이나 판례 같은 객관적 사실 주장만 3단계 심사를 거친다. 사진이나 슬라이드는 "어디서 왔고 무엇을 담고 있는가"를 기록한다. 개인 경험이나 감상은 "누구의 경험인지, 언제 것인지, 지금도 유효한지"를 적는다.

새 위키 파일 2개가 생성되고, 기존 스키마 파일 6개가 수정됐다. 처음 요청에서 결과물이 나오기까지 한 번의 대화 흐름이었다.

법무 검색 품질 게이트 슬라이드 — 이미지도 위키에 들어간다

다음은 inbox 폴더에 쌓아둔 자료를 정리할 차례였다.

내가 여기 inbox에 뭘 넣었는데 ingest하고 그 결과를 알려줘

Codex가 확인해보니 문서 파일은 없었고, PNG 이미지 4장이 있었다. 법무 검색 시스템의 품질 관리 방식을 설명하는 슬라이드였다. 검색 결과의 "점수"보다 근거의 "자격"을 먼저 확인하는 구조를 담고 있었다.

Codex는 이미지 4장을 직접 열어 내용을 읽었다. 슬라이드마다 담긴 내용을 정리하고, 새 지식 체계에 따라 분류했다.

이미지 자체는 사실 주장이 아니라 참고 자료(Resource)이므로, 3단계 심사 대신 "어디서 왔고, 무엇을 담고 있고, 어디에 보관되고, 어디와 연결되는가"를 기록했다. 원본 이미지는 비공개 폴더(_private)로 이동하고, 위키에는 이미지 구조와 원칙을 텍스트로 요약한 문서만 남겼다.

슬라이드에서 끌어낸 핵심 원칙 두 가지도 위키에 후보 지식으로 등록됐다.

법무 질의응답에서는 검색 결과의 양보다
공식 근거, 답변 가능성, 법령 표현 정확성이 더 중요하다.

피렌체 여행기 — "이건 사실이 아니라 당신의 경험입니다"

이날 작업에서 가장 인상적인 순간이었다.

inbox에 또 하나의 자료가 있었다. 피렌체 여행 감상을 직접 쓴 짧은 글이었다.

inbox/docs에 있는 자료도 ingest해줘

Codex가 파일을 읽었다. 좁은 골목, 두오모의 붉은 지붕, 우피치 미술관에서 보티첼리를 봤을 때의 감각, 아르노강과 베키오 다리에서 본 노을 — 개인적인 여행 감상문이었다.

Codex는 이 자료를 "객관적 사실 주장"으로 처리하지 않았다. 새 체계의 첫 번째 게이트에서 다른 방향으로 분류됐다.

이것은 사용자의 여행 경험, 감상, 선호가 담긴 주체귀속 정보입니다.
"피렌체는 조용히 마음속에 스며드는 도시다"라는 문장은
사실 주장이 아니라 사용자에게 귀속된 감상입니다.

그래서 3단계 심사가 아니라 다른 기준이 적용됐다. 누구의 경험인지, 어떤 맥락인지, 언제 것인지, 지금도 유효한지.

그리고 위키에는 이런 설명이 남았다.

향후 여행 추천이나 취향 기반 응답에서
"피렌체 선호", "르네상스 예술 관심", "느린 도시 경험 선호"의
단서로 사용할 수 있다.

여행기 한 편이 위키에 들어가는 순간, 단순한 메모가 아니라 나중에 쓸 수 있는 "선호 신호"로 정리됐다. 법령과 여행기가 같은 위키 안에서 각자의 방식으로 체계적으로 관리되는 구조가 된 것이다.

✅ 결과 (After)

Before vs After

항목

Before

After

정보 관리 기준

모든 자료에 동일한 3단계 심사 적용

유형 분류 후 유형별 기준 적용

이미지·슬라이드 처리

별도 기준 없음

참고 자료(Resource)로 분류, 텍스트 요약 보관

개인 경험·감상 처리

별도 기준 없음

주체귀속 정보로 분류, 선호 단서로 활용

법무 근거 자료 관리

산발적 축적

공식성·신뢰도 기준으로 분류·심사 가능

위키 성격

메모 모음

정보 유형별 심사 기반 지식 관리 시스템

결과물

wiki/concepts/llm-wiki-epistemology.md — 새 인식론 개념 문서
wiki/source-summaries/SRC-012, 013, 014 — 각 자료의 유형별 요약
schema/knowledge-admission.md 외 6개 파일 개정 — 새 분류 게이트 반영
devlog.md — 전체 작업 기록

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

기준을 먼저 만들어두기 — "해줘"보다 "우리 체계에 맞춰봐"처럼 판단 기준을 위키 파일로 미리 만들어두면, AI가 매번 같은 방식으로 처리한다. 일관성이 생긴다.
내 생각을 문서로 쓰고 AI에게 넘기기 — 머릿속에 있는 아이디어나 이론을 글로 써서 AI에게 주면, AI가 기존 시스템에 어떻게 연결해야 할지 판단해준다. 나의 생각이 시스템이 된다.
inbox 방식으로 자료 모으기 — 분류하기 전에 일단 inbox 폴더에 넣어두고 AI에게 "ingest해줘"라고 하면, AI가 유형을 판단하고 적절한 방식으로 처리한다.

이렇게 하면 안 돼요

모든 정보를 똑같이 다루기 — 법령과 여행기, 공문서와 블로그 메모를 같은 기준으로 심사하면 시스템이 무너진다. 정보 유형 분류가 먼저다.
AI 답변을 근거 없이 그대로 쓰기 — 특히 법무·행정 업무에서는 AI 답변의 출처가 공식 법령인지, 참고 자료인지 구분이 중요하다. 위키가 그 구분을 담당한다.

🌍 다른 업무에 적용한다면?

이 구조는 법무 외에도 비슷한 방식으로 적용할 수 있다.

의료·복지 기관 — 공식 지침, 개인 사례 기록, 참고 논문을 유형별로 분리해 관리
연구·기획 부서 — 공식 보고서, 인터뷰 기록, 브레인스토밍 메모를 다른 기준으로 처리
교육 현장 — 교육과정 공문서, 교사 의견, 학생 사례를 구분해 AI 활용 자료로 쌓기
개인 지식 관리(PKM) — 책·논문(Resource), 내 생각(주체귀속 정보), 검증된 지식(Claim)을 나눠 관리

핵심은 하나다. AI에게 넘기기 전에, 이 정보가 어떤 종류인지 구분하는 게이트를 만들어두는 것.

🚀 앞으로의 계획

두 가지 방향으로 발전시킬 예정이다.

첫째, 법무 자료를 계속 쌓아나가는 것. 이번에 만들어진 체계를 기반으로 법령, 판례, 실무 예규를 꾸준히 ingest하면 실제 업무 질의응답에서 AI가 공식 근거에 기반해 답변하는 구조를 만들 수 있다.

둘째, 위키에서 직접 질문하고 답변받는 구조. 지금은 자료를 쌓는 단계지만, 나중에는 이 위키에 검색 기능을 붙여서 "계약보증금 불이행 시 법적 효과는?" 같은 질문을 하면 위키에 쌓인 공식 근거를 기반으로 답변이 나오는 로컬 법무 지식 시스템을 만드는 것이 목표다.

📋 재사용 가능한 프롬프트

프롬프트 1: 내 이론·기준 문서를 위키에 편입할 때

[파일명]을 읽고 우리 체계에 맞춰봐.
기존 규칙 파일은 [스키마 폴더 경로]에 있어.
폐기하지 말고, 기존 체계 어디에 위치시킬지 판단해서 편입해줘.

프롬프트 2: inbox 자료를 ingest할 때

inbox에 있는 자료를 ingest해줘.
유형 분류는 [분류 기준 문서 경로]를 참고하고,
처리 결과를 source-index에 등록하고 log에 기록해줘.

프롬프트 3: 정보 유형 분류가 헷갈릴 때

이 자료가 객관적 사실 주장인지, 참고 자료인지, 특정인의 경험/의견인지 판단해줘.
판단 근거도 같이 설명해줘.
[자료 내용 또는 파일 경로]

📣 23기 AI 스터디 주제를 확인해보세요!