소개
주옥 같은 AI TALK — LLM 위키(지식 저장소) 구축 (엔지니어H) 내용이 휘발되기 전에 요약 정리 복습해 봅니다.
진행 방법
플라우드 녹음 및 요약, 클로드 코드 검색 첨가
AI TALK — LLM 위키(지식 저장소) 구축 (2026-05-07)
강사: 엔지니어 H | 일시: 2026-05-07 21:09 | 장소: 줌
요약
본 강의는 LLM(거대 언어 모델)을 더 효과적으로 활용하기 위한 '지식 저장소' 구축의 필요성과 구체적 방법을 다룬다. 강사 엔지니어 H는 LLM, 에이전트, RAG의 기본 개념을 소개하고, 프롬프트 엔지니어링의 한계를 지적한 뒤 안드레이 카파시가 제안한 'LLM 위키' 철학을 중심으로 지식 저장소 구축 전략을 설명한다. LLM 위키는 대화 종료 후 사라지는 휘발성 지식을 마크다운 기반 위키에 지속적으로 누적·정제·업데이트하여, AI 에이전트가 일관되고 신뢰할 수 있는 정보를 바탕으로 추론하도록 돕는 시스템이다. 강의 후반부에서는 LLM 위키의 실제 동작 사이클, 이를 활용한 에이전트 팀 구축·최적화 스터디 계획, 그리고 옵시디언(Obsidian)과 깃(Git)을 활용한 시연을 통해 개념을 구체화한다.
지식 포인트
1. 지식 저장소가 필요한 이유
인간과 AI의 정보 처리 한계
인간은 채팅 기록·회의록 등에서 핵심이 묻히고, 결정과 근거가 분리되며, 과거 정보를 잊는 등 정보 손실을 겪는다.
AI도 체계 없는 대량 정보를 맥락 없이 받으면 처리와 재사용이 어렵다.
AI의 추론 품질은 투입되는 컨텍스트의 체계성·신뢰도·정확성에 크게 좌우된다.
체계적 지식 저장소의 목표
문서를 '컨텍스트 입력 계층'으로 활용해 AI가 정확히 작동하도록 한다.
근거를 한곳에 모으고, AI가 읽기 쉬운 구조로 정리하며, 재사용·누적·중복 방지로 핵심 정보만 컴팩트하게 관리한다.
2. 핵심 개념 정의
LLM (Large Language Model)
인간의 뇌와 유사하게 수많은 수치(가중치)로 구성된 모델로, 언어 패턴을 임베딩해 입력과 연관된 결과를 확률적으로 생성하는 '답변 생성 모델'이다.
한계: 학습 데이터가 고정되어 최신 정보를 모른다. 대학교 3~4학년 수준 전공지식을 가진 사람에 비유 가능.
에이전트 (Agent)
LLM에 도구(Tool)·메모리(Memory)·규칙(Rule)을 결합해 행동하게 한 구조. 검색, 파일 읽기, 코드 실행 등 워크플로우를 수행하며 LLM에 손발을 붙인다.
RAG (Retrieval-Augmented Generation)
외부 정보를 검색(Retrieval)해 보완(Augmented)하고 생성(Generation)에 활용하는 기술.
신뢰도를 높이고 모순을 줄이며 환각(Hallucination)을 감소시킨다.
오픈북 테스트처럼 외부 지식을 참조해 답변을 생성한다.
3. LLM 위키(LLM Wiki) 철학
등장 배경
안드레이 카파시가 제안. 프롬프트 문구보다 컨텍스트의 구조화·활용 방식이 더 중요하다는 철학을 담고 있다.
안드레이 카파시 (Andrej Karpathy) 테슬라 AI 총괄 출신, OpenAI 공동창업자. 딥러닝·LLM 분야 세계적 권위자. "소프트웨어 1.0은 코드, 소프트웨어 2.0은 신경망 가중치"라는 개념을 대중화했으며, LLM을 운영체제에 비유한 'LLM OS' 개념과 LLM 위키 철학으로 AI 실무 활용 방향을 제시하고 있다.
기존 방식과의 차이
이전 관점: 프롬프트 문구에 집중해 매번 새 프롬프트가 필요하고, 세션 종료 시 과거 지식이 소멸.
LLM 위키 관점: 대화 핵심을 특정 디렉토리에 요약·저장하고 지속 업데이트. 구조화된 컨텍스트·근거·규칙·기억을 함께 관리해 LLM이 전체 맥락을 효율적으로 파악하고, 답변 이후에도 지식이 자산으로 남는다.
LLM 위키의 구성 요소
Row (원본 자료): 기사, 회의록, PDF, 레포트, 논문 등 원본 정보 폴더.
Wiki (정제된 지식): Row를 분석해 핵심을 컴팩트하게 정리한 마크다운(.md) 파일. 위키피디아처럼 지식이 누적 된다.
Schema (운영 규칙): 정보 중요도, 에이전트 페르소나(예: 워렌 버핏), 작업 워크플로우, 명명 규칙(컨벤션) 정의로 검색 반복을 줄이고 일관성을 높인다.
RAG와의 차이
RAG: 매 추론 때마다 외부 정보를 다시 검색한다.
LLM 위키: 정리된 지식 자체를 검색(리트리버)해 추론에 쓰고, 결과를 위키에 반영해 지속 업데이트한다. 중복을 줄이고 핵심 정보만 자산으로 축적한다.
4. LLM 위키의 동작 방식과 활용
동작 사이클
Ingest (수집): 새 자료를 Row 폴더에 추가한다.
Call (호출): 사용자가 LLM에 질문·요청을 한다.
추론 및 저장: LLM이 위키와 외부 정보를 참고해 답변을 생성하고, 유용한 답변을 위키에 저장한다.
Lint (검토/정제): 충돌·모순 점검, 오래된 정보 최신화, 링크·구조 체계화.
반복하며 지식 체계를 고도화한다.
활용 도구
옵시디언(Obsidian): 다수 문서를 백과사전처럼 효율적으로 관리.
깃(Git): 코드·문서 버전 관리 도구.
오토리서치(Auto-research) 개념
에이전트에 양질의 정보와 도구 권한을 부여해 지침에 따라 스스로 실험·심화 탐색·지식 확장을 수행하는 알고리즘. 스터디에서 적용 예정.
5. 스터디 계획과 방향
스터디 목표
헤르메스 또는 오픈클로 기반 에이전트를 구축·발전.
에이전트들을 팀으로 연동해 협력 업무 수행.
지식 저장소·오토리서치·크롤링 등 도구를 에이전트에 부착해 최적화.
스터디 진행 방식
환경 세팅 및 구축 실습, 확장 실험, 개인별 고도화 작업 진행.
SLM(소형 언어 모델) 관련
시간 제약으로 SLM 파인튜닝 실습은 어려우며, 개론 수준으로 다루거나 다음 기수로 연기 가능.
궁극적 목표
지식 저장소 기반으로 협업하는 에이전트 팀을 실험하고, 각자의 태스크에 맞는 고도화된 지식 체계를 구축한다.
결과와 배운 점
모든 지식은 휘발되기 전에 저장되여야 한다
저장은 맥락에 따라야 하고, Wiki (정제된 지식)와 Schema (운영 규칙)이 있어야 한다.
LLM WIKI를 위하여 AGENT(헤르메스 혹은 오픈클로)와 옵시디언을 활용한다.
