소개
안녕하세요? 망원궁예입니다
이번 주는 LLMWiki를 만들어봤습니다.
+슈댕이한테 self-eval 보고서도 쓰게 하고, 디스코드 연결도 했어요!
진행 방법
1️⃣ LLMWiki 폴더 만들기
3편에서 만든 봇들이 참조할 지식창고 구조를 잡았어요.
(프롬프트 및 구조 상세 내용은 3편 참조)
LLMWiki/
├── SCHEMA.md ← 규칙집
├── index.md ← 전체 지도
└── log.md ← 작업일지
2️⃣ Obsidian으로 열기
LLMWiki 폴더를 Vault로 열었습니다.
제?가 뭘까요..나중에 고쳐봐야겠습니다
3️⃣ Git으로 버전 관리
GitHub에 LLMWiki 저장소 만들고 업로드했어요.
bash
gh repo create LLMWiki --private --source=. --push
commit 주석도 알아서 써줬네요
4️⃣ Ontology 만들기
개념이 헷갈려서 클로드한테 쉽게 설명해달라고 했어요.
메가커피로 비유하면 아래와 같다고 하네요
SCHEMA.md에 분류 체계를 작성했어요.
topics/
├── knowledge-store.md
├── llm-wiki-layers.md
├── rag-vs-llmwiki.md
├── folder-structure.md
├── openviking.md
├── governance.md
├── roadmap.md
└── zoom-bot.md ← 줌링크봇 기획
decisions/
├── agent-wiki-reference-rule.md
└── channel-policy.md ← 카톡/슬랙/디스코드 발송 순서 확정
failures/
└── kakao-unofficial-bot.md ← 카톡 비공식봇 리스크 기록
shared/
├── channels.md ← 줌링크, 슬랙 웹훅 URL 보관
└── schedule.md
5️⃣ raw/ 폴더 + 파일 만들기
수업 세미나 PDF 자료를 raw/llm-wiki-seminar.md로 넣었어요.
AI가 그걸 읽고 topics 파일들을 직접 써줬습니다.
raw/
└── llm-wiki-seminar.md ← 수업 세미나 원본
원본은 절대 수정 안 하고 그대로 보관하는 게 규칙이라고 클로드가 말하네요.
일단 LLM위키 PDF 자료를 넣어줬습니다.
앞으로는 수업 강의안이나 수강생 피드백, 이런것들 넣어보려고 합니다
6 ️⃣ index.md + log.md 업데이트
topics 파일들 다 만들고 나서 index.md에 목차 정리하고, log.md에 작업 내역 남겼어요.
index.md에는 이런 내용이 들어갔어요:
전체 폴더 구조 지도
topics/ 파일 목록 + 상태 (validated/stale)
decisions/ 확정 결정 목록
raw/ 원본 소스 목록
에이전트 참조 순서
(index → decisions → topics → raw)
log.md에는:
작업 날짜별 기록
INGEST(원본 저장) → COMPILE(정리) → PROMOTE(확정) 순서로 남김
줌링크봇이랑 연계되는 부분은
shared/channels.md
에 줌링크, 슬랙 웹훅 등 채널 정보를 넣어뒀어요. 봇 여러 개가 이 파일 하나만 보면 되는 구조예요.
7️⃣ 도구 선택
이건 제가 이해를 못했습니다.. 😅
8️⃣ LLMWiki Harness Skill 만들기
skills/ 폴더 만들고 llmwiki-harness.md 파일 작성했어요.
봇이 LLMWiki를 읽고 결과물 생성 후 self-eval까지 수행하는 워크플로우예요.
skills/
└── llmwiki-harness.md
WORKFLOW 4단계:
1단계 LOAD index.md → topics/ → shared/ 순서로 참조
2단계 GENERATE 줌링크 공지문 / 슬랙 메시지 / 요약 리포트 생성
3단계 CLAIM based_on / confidence / reason 명시
4단계 SELF-EVAL accuracy / completeness / action_needed 평가
테스트 해봤어요
줌링크는 없으면 [링크 미입력]으로 표시하고,
나머지 정보로 공지문 완성해줘.
끝나면 self-eval 보고서도
skills/self-eval-report.md 파일로 저장해줘댕!
처음에 보낸 공지글보다 엄청 개선이 되서 놀랐습니다
9️⃣ self-eval 보고서 + 디스코드 연결
슈댕이가 스스로 wiki 읽고 → 공지문 생성 → self-eval 보고서 작성 → 파일 저장까지 완료했습니다.
슈댕이가 self-eval 보고서 작성 후
슬랙 #슈댕이-운영로그 채널에 자동 발송까지 했어요.
오늘 운영로그 #슈댕이-운영로그 채널에 발송해줘댕!
LLMWiki/skills/self-eval-report.md 읽고 요약해서 슬랙으로 보내줘
슬랙에 잘 왔네요!
하는 김에 매일 밤 11시에 자동으로
운영로그 슬랙 발송하는 cron도 설정했는데요!
맥북은 잠자면 안 돌아가서
나중에 맥미니에서 세팅할 예정입니다 ㅠㅠ
+ 디스코드 연결
하는 김에 디스코드도 연결했어요. shared/channels.md에
웹훅 URL 넣어두면 봇 여러 개가 공통으로 참조하는 구조
결과와 배운 점
배운 것:
한바퀴 돌아보면서 사례글 쓰면서 개념들이 조금씩 이해가 가네요!
LLMWiki는 봇이 참조할 지식창고라는 게 처음엔 이해가 안 됐는데,
직접 만들고 슈댕이한테 읽히니까 이해가 됐어요봇이 self-eval 보고서까지 스스로 쓰는 게 신기했어요
시행착오:
슈댕이가 self-eval 보고서를 LLMWiki가 아닌 shuedaeng-agent에 저장해서 경로 수정했어요
슈댕이가 매일 오후 11시마다 자동으로 운영로그 보고하게 만들었는데,
그 시간에 맥북이 켜져있어야 한다는 이슈가 있어요.
역시 맥미니를 구해야 될 것 같습니다 😂
앞으로 할 것: (일단 다 취합해봄)
맥미니에서 cron 세팅해서 완전 무인 자동화
카카오 오픈빌더 연결해보기
채찍봇 쥬댕이도 만들기
raw파일에 강의안 넣고 피드백 자동화 해보기
raw파일에 피드백 파일 모아서 넣고 자주쓰는 피드백 추려보기 > 자동화 > 초벌 피드백 외주주기
맥미니 구매하기
