LLM Wiki로 AI 작업 기억 시스템 구축하기
AI에게 매번 처음부터 설명하지 않기 위해 LLM Wiki를 만들고 있습니다
LLM Wiki의 중요성
이번 작업의 핵심은 관리자 페이지 자체가 아니었습니다.
관리자 페이지는 어디까지나
제가 만든 구조가 잘 작동하는지 눈으로 확인하기 위한 도구였습니다.
진짜 집중한 것은 따 로 있었습니다.
바로 AI가 제 일의 맥락을 잃지 않게 하는 LLM Wiki 구조입니다.
여러 AI 도구를 함께 쓰다 보면 비슷한 문제가 반복됩니다.
Codex에서 했던 이야기를 Hermes가 모릅니다.
Hermes에서 정리한 내용을 Gemini가 모릅니다.
이전 세션에서 정한 기준을 다음 세션에서 다시 설명해야 합니다.
제가 승인하거나 수정한 내용을 AI가 다음 작업에서 이어받지 못합니다.
처음에는 AI 도구의 성능 차이라고 생각했습니다.
하지만 계속 사용하다 보니 더 중요한 문제는 따로 있었습니다.
AI가 얼마나 똑똑한가보다,
내가 만든 작업 맥락을 계속 이어받을 수 있는가가 더 중요했습니다.
그래서 저는 LLM Wiki를 단순한 자료 저장소가 아니라,
AI가 참고할 수 있는 작업 기억 시스템으로 보고 있습니다.
LLM Wiki 구축 방법
제가 만들고 싶은 구조는 거창한 지식 시스템이 아닙니다.
목표는 단순합니다.
AI에게 매번 처음부터 설명하지 않아도 되는 구조를 만드는 것입니다.
현재 제 작업 구조를 정리하면 이렇게 볼 수 있습니다.
자동화 도구의 역할
자동화는 반복 작업을 줄이고,
정해진 흐름을 실행하는 데 도움을 줍니다.
예를 들면 다음과 같은 역할입니다.
파일 생성
데이터 정리
상태 업데이트
반복 명령 실행
작업 결과 저장
자동화는 손발에 가깝습니다.
하지만 자동화만으로는 “왜 이렇게 하는지”를 기억하지 못합니다.
관리자 페이지의 기능
관리자 페이지는 제가 만든 구조가 지금 어떤 상태인지 확인하는 화면입니다.
예를 들면 이런 것들을 확인할 수 있습니다.
어떤 문서가 등록되어 있는지
어떤 항목이 수정되었는지
어떤 작업이 완료되었는지
어떤 데이터가 누락되었는지
즉, 관리자 페이지는 현재 상태를 보여주는 도구입니다.
하지만 관리자 페이지도 그 자체가 핵심은 아니었습니다.
중요한 것은 그 뒤에 있는 구조였습니다.
LLM Wiki의 역할
제가 가장 집중하고 있는 부분은 이 지점입니다.
LLM Wiki는 단순히 문서를 쌓아두는 곳이 아닙니다.
제가 보기에는 LLM Wiki가 해야 할 일은 다음과 같습니다.
이전 작업에서 무엇을 결정했는지 남기기
어떤 기준으로 판단했는지 기록하기
실패한 시도와 이유를 정리하기
수정한 내용과 승인한 내용을 구분하기
다음 AI가 바로 참고할 수 있는 형태로 정리하기
결국 LLM Wiki는
AI에게 넘겨줄 수 있는 작업 기억에 가깝습니다.
최근 LLM Wiki 흐름에서도 원자료를 매번 다시 검색하거나 읽히기보다, AI가 읽기 좋은 구조화된 지식 베이스를 만들고 유지하는 관점이 강조되고 있습니다.
참고 개념들
이 과정에서 몇 가지 개념을 알게 되었습니다.
온톨로지
RAG
gbrain
세컨드브레인
작업 기억
지식 베이스
AI용 문서 구조
특히 RAG는 LLM이 외부 지식 베 이스나 내부 문서 같은 정보를 참고해
더 관련성 높은 답변을 만들도록 돕는 방식입니다.
하지만 제가 만들고 싶은 것은 단순한 RAG 시스템만은 아닙니다.
검색해서 답을 잘 찾는 것도 중요하지만,
제가 더 중요하게 보는 것은 이것입니다.
“지난번에 우리가 왜 그렇게 결정했는지”를 다음 AI가 이해하는 것.
그래서 LLM Wiki에는 단순 정보뿐 아니라
판단 기준, 시행착오, 승인 기록, 수정 이유가 함께 들어가야 한다고 생각했습니다.
LLM Wiki의 성과와 배운 점
이번 작업을 하면서 가장 크게 배운 점은 이것입니다.
AI를 잘 쓰려면 프롬프트만 잘 쓰면 되는 것이 아니었습니다.
물론 프롬프트도 중요합니다.
하지만 여러 AI 도구를 오가며 작업하다 보면 프롬프트보다 더 중요한 것이 있습니다.
바로 맥락을 보존하는 구조입니다.
제가 겪은 문제는 이런 식이었습니다.
Open optionstext
이전 AI와 충분히 논의해서 기준을 정했다.
그런데 다음 AI에게 다시 처음부터 설명해야 한다.
다시 설명하는 과정에서 기준이 조금씩 바뀐다.
결국 작업의 일관성이 흔들린다.
이 문제를 줄이려면
AI가 참고할 수 있는 공통 기억 공간이 필요했습니다.
그래서 LLM Wiki를 이렇게 바라보게 되었습니다.
Open optionstext
LLM Wiki = AI에게 넘겨주는 작업 기억 시스템
제가 원하는 LLM Wiki는 이런 역할을 합니다.
내가 승인한 기준을 기억합니다.
실패한 방법을 다시 반복하지 않게 합니다.
수정한 이유를 다음 작업에 반영합니다.
여러 AI 도구가 같은 맥락을 공유하게 합니다.
새로운 세션에서도 이전 작업의 흐름을 이어가게 합니다.
관리자 페이지는 이 구조를 확인하는 화면이고,
자동화는 이 구조를 실행하는 도구입니다.
하지만 중심에는 LLM Wiki가 있습니다.
LLM Wiki의 향후 계획
앞으로는 LLM Wiki를 더 명확한 구조로 다듬어보려고 합니다.
예를 들면 이런 식입니다.
Open optionsmarkdown
# 작업명
## 현재 목표
이 작업에서 달성하려는 것
## 결정된 기준
이미 승인한 판단 기준
## 진행 기록
언제 무엇을 시도했는지
## 실패한 시 도
다시 반복하지 않아야 할 방법
## 수정 이력
무엇을 왜 바꾸었는지
## 다음 AI에게 전달할 맥락
다음 세션에서 바로 참고해야 할 내용
이 구조가 잘 잡히면
AI에게 매번 처음부터 설명하는 시간이 줄어들 것 같습니다.
제가 진짜 만들고 싶은 것은 화려한 관리자 페이지가 아닙니다.
AI가 제 일의 맥락을 잃지 않는 구조.
그 구조가 있다면 Codex, Hermes, Gemini처럼 서로 다른 AI 도구를 쓰더라도
작업의 기준과 흐름을 더 안정적으로 이어갈 수 있을 것 같습니다.
