본문으로 건너뛰기

AKM(에이전트 지식관리 시스템)으로 리서치 → 검증 → 학습 루프 돌려보기

꾸기작

2026.07.24

소개

시도하고자 했던 것과 그 이유를 알려주세요.

GPTers 스터디 1주차 과제로 deck6ix님의 AKM(Agent Knowledge Management) 시스템을 로컬에 설치하고, Claude(Cowork)를 에이전트로 붙여 실제 지식관리 루프를 돌려봤습니다. AKM은 Karpathy의 LLM Wiki 패턴(지식을 LLM이 읽는 마크다운 위키로 컴파일)을 지식 레이어로 채택하고, 거기에 실행→검증→Learn Back(실패를 시스템 개선으로 환류) 루프를 얹은 구조입니다.

단순히 구조만 구경하는 게 아니라, 세 가지를 직접 시험했습니다:

  1. 웹 리서치를 AKM 규칙(인박스 우선)대로 저장하기

  2. 저장된 정보의 오류를 일부러 파고들어 Learn Back 루프가 실제로 작동하는지 보기(이럴 의도는 없었으나 하다보니 눈에 보이는 오류가 있어 하게됨)

  3. 유튜브 영상(1시간짜리)을 자막 기반으로 정리·분석해서 지식 노트로 만들기

진행 방법

어떤 도구를 사용했고, 어떻게 활용하셨나요?

도구: Claude Cowork(로컬 폴더 연결) + AKM 저장소 + 웹 검색 + Chrome 브라우저 제어(유튜브 자막 추출)

① AKM 구조 파악

먼저 시스템이 뭘 요구하는지 물어봤습니다.

AKM을 제대로 작동되도록 만드려면 앞으로 어떤 명령을 내려야 하나요?
AKM 규칙에 맞게 정리하려면 어떤 과정으로 명령해야 해?

Claude가 저장소의 99-system/LOOP.md, ROUTER.md를 읽고 7단계 루프(Ingest→Classify→Compile→Contextualize→Execute→Verify→Learn Back)와 "인박스 우선, ROUTER 분류, INDEX/LOG 갱신, lint 검사" 파이프라인을 정리해줬습니다. (캡처 1: 루프 설명 답변 화면)

② 웹 리서치 인테이크

인박스에 아래 자료를 검색하여 넣어줘.
---
분당에서 지하 고속도로 계획이 있다고 한다.
이와 관련된 내용을 자세하게 검색하여 저장해줘.

Claude가 웹 검색으로 "의왕~광주 고속도로(제2영동연결고속도로)" 관련 기사를 모아 frontmatter(SCHEMA 준수)를 갖춘 노트를 00-inbox/에 만들고 LOG.md에 한 줄을 남겼습니다. (캡처 2: 인박스 노트 파일)

③ 사실 검증 + Learn Back — 오늘의 하이라이트

저장된 노트에 "당골공원은 구미동 소재"라고 적혀 있었는데, 실제로는 분당동 소재입니다. 일부러 이렇게 지적했습니다.

이 정보가 실제 사실에 근거한 것인지 자세히 살펴보자.
당골공원은 분당동 소재이며 구미동이 아니다.
다른 부분들도 거짓인지 자세히 살펴보자.

Claude가 검색 요약이 아닌 원 기사 2건(경인일보, 뉴스브레인)을 직접 열어 대조했고, 결과는:

  • 당골공원 소재지 오류 확인·정정 (검색 요약문만 믿고 쓴 게 원인)

  • 출처 간 상충 발견: 착공 일정(2026→2032 vs 2029→2036), 의견서 인원(4,260명 vs 4,371명) — 단정 대신 병기로 수정

  • 70-evaluation/audits/에 감사 노트 생성: "지명·수치는 1차 출처 대조 전에 단정 기재 금지, 사용자 요청문의 전제도 검증 대상" 같은 재발 방지 규칙까지 기록

즉 실수가 그냥 수정으로 끝나지 않고 시스템 규칙으로 남는 것, 이게 AKM이 일반 노트앱과 다른 지점이었습니다. (캡처 3: 감사 노트)

④ 유튜브 영상 분석

https://www.youtube.com/watch?v=h_sI7zIdZLI 유튜브 동영상 내용을 정리하여
정말로 돈을 버는 투자 방법론이 있는지 분석하여 정리해주세요.

일반 웹 fetch로는 유튜브 내용이 안 잡혀서, Claude가 Chrome 브라우저 제어로 영상 페이지를 열고 스크립트(자막) 패널을 켠 뒤 자막 전문(약 2만 9천 자)을 추출했습니다. 이를 기반으로 언더스탠딩 '독하게 돈 공부' 편(켈리 공식, 섀넌의 도깨비, 에드 소프)을 요약하고, "켈리 공식은 엣지를 만들어주는 공식이 아니라 엣지가 있을 때 파산하지 않는 베팅 크기 공식"이라는 비판적 분석까지 붙여 인박스에 저장했습니다. (캡처 4: 분석 노트)

결과와 배운 점

배운 점과 나만의 꿀팁:

  • "인박스 우선" 규칙이 생각보다 강력합니다. 모든 신규 자료가 00-inbox/에 착지하고 7일 안에 ROUTER로 분류되니, 에이전트가 아무 데나 파일을 흩뿌리는 문제가 구조적으로 막힙니다.

  • 묶음 명령 꿀팁: "이 자료를 AKM 규칙대로 정리해줘 — 인박스에 넣고, ROUTER로 분류하고, 템플릿 맞춰 노트화한 뒤 INDEX/LOG 갱신하고 lint까지 돌려줘" 한 줄이면 파이프라인 전체가 돕니다.

  • 에이전트의 답을 한 번 의심하는 게 곧 시스템 훈련입니다. 오류를 지적하면 정정에서 끝나지 않고 70-evaluation/에 재발 방지 규칙이 쌓여서, 다음 인테이크의 품질이 올라갑니다.

시행착오:

  • 검색 도구의 요약문만 믿으면 사실 오류가 섞입니다 (당골공원 소재지 오류가 정확히 이 케이스). 지명·수치·날짜는 반드시 원문 기사를 열어 대조해야 합니다.

  • 유튜브는 일반 fetch로는 빈 페이지가 나옵니다. 브라우저 제어로 자막 패널을 직접 열어야 했고, 자막이 ASR(자동생성)이라 고유명사 오류(존 켈리→"존리")가 있어 그 한계도 노트에 명시했습니다.

도움이 필요한 부분:

  • 인박스 주간 트리아지를 스케줄 작업으로 자동화한 사례가 있다면 듣고 싶습니다.

  • 검증 단계(VERIFICATION Tier 선택)를 어느 수준까지 습관화할지 기준을 잡는 중입니다.

앞으로의 계획:

  • 쌓인 인박스 노트를 ROUTER로 분류해 10-sources/, 20-knowledge/로 승격

  • 30-context/에 내 프로젝트·선호 정보를 채워 Contextualize 단계 가동

  • 반복되는 "유튜브 자막 추출→분석" 작업을 50-procedures/ 프로시저로 승격

도움 받은 글 (옵션)

  • deck6ix, AKM 저장소 (README, 99-system 문서 일체)

  • Karpathy의 LLM Wiki 패턴 — https://karpathy.bearblog.dev/

  • Zoom 강의와 스터디 단톡방에서 받은 피드백이 큰 도움이 되었습니다. 감사합니다!

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.07.24

"에이전트의 답을 한 번 의심하는 게 곧 시스템 훈련이다" — 이 한 줄이 글 전체를 요약하는 것 같았어요.

당골공원 소재지 오류를 지적하신 뒤 Claude가 검색 요약에 안 머물고 경인일보·뉴스브레인 원 기사 2건을 직접 열어 대조한 장면, 그리고 출처 간 상충(착공 일정·의견서 인원 수치)을 단정 대신 병기로 수정한 결과까지 — 이 흐름이 70-evaluation에 "지명·수치는 1차 출처 대조 전 단정 기재 금지"라는 재발 방지 규칙으로 남았다는 게 핵심이라고 생각해요. 수정이 시스템 훈련이 되는 구조요.

유튜브 1시간 영상을 브라우저 제어로 자막 전문 2만 9천 자 추출하고 켈리 공식의 비판적 분석까지 붙이신 것도 실용적인 사례였어요. 인박스 주간 트리아지 자동화까지 이어지면 좋겠습니다 🐾

DECK 프로필 이미지
DECK2026.07.25

꾸기작님, 당골공원 소재지 오류를 단순 정정으로 끝내지 않고 원문 대조, 출처 간 충돌 병기, 재발 방지 규칙까지 연결하신 과정이 정확한 Learn Back 사례입니다. 특히 “사용자가 제시한 전제도 검증 대상”으로 남기신 점이 중요합니다.

질문하신 두 부분에 제 운영 기준을 공유드리면 다음과 같습니다.

  1. 인박스 주간 트리아지 자동화
    제 환경에서는 매주 월요일 06:17에 00-inbox/를 점검하고, 7일이 지난 항목을 ROUTER에 따라 분류하는 작업을 돌립니다. 자동화는 보안 점검 → 분류 후보와 근거 작성 → 이동 → INDEX·LOG 갱신 → lint 순서입니다. 다만 출처와 해석이 섞였거나 민감정보·프로젝트 맥락이 걸린 항목은 자동 이동하지 않고 사람 확인 대상으로 남깁니다. 완전 자동 분류보다 “명확한 것은 이동하고, 애매한 것은 질문으로 올리는 구조”가 안전합니다.

  2. 검증 Tier 선택 기준
    검증 강도는 자료의 길이보다 재사용성과 틀렸을 때의 영향으로 정합니다.

  • Tier 0: 저장하지 않는 저위험 일회성 답변

  • Tier 1: AKM에 저장해 다시 사용할 모든 노트

  • Tier 2: 장문 보고서, 강의, 제안서, 공개 콘텐츠

  • Tier 3: 공식 제출물이나 의료·법률·안전·계약처럼 오류 비용이 큰 작업

두 단계 사이에서 고민될 때는 외부 공개되거나 되돌리기 어려운 결과물만 상위 Tier를 선택하면 됩니다. 모든 자료를 무겁게 검증하기보다, 지명·날짜·수치·출처처럼 신뢰를 무너뜨릴 핵심 주장부터 직접 대조하는 습관이 실용적입니다.

이번 사례는 “에이전트의 답을 의심하는 행위가 시스템 훈련이 된다”는 AKM의 목적을 아주 잘 보여주셨습니다. 유튜브 자막의 고유명사 오류까지 한계로 명시하신 것도 좋은 검증 태도였습니다.

꾸
꾸기작2026.07.28

DECK님, 답변 감사합니다! 특히 인박스 트리아지를 "완전 자동 분류"가 아니라 "명확한 것은 이동, 애매한 것은 질문으로 올리는 구조"로 짜신 부분이 인상 깊었습니다. 저도 처음엔 ROUTER 분류까지 통째로 자동화할 생각이었는데, 당골공원 사례처럼 출처와 해석이 섞인 항목을 기계 혼자 판단하게 두면 오히려 새로운 오류가 조용히 쌓일 수 있겠다는 생각이 들었어요. 매주 월요일 06:17 스케줄, 그리고 보안 점검 → 분류 후보·근거 작성 → 이동 → INDEX·LOG 갱신 → lint 순서는 그대로 제 환경에 적용해보려고 합니다.

검증 Tier 기준도 많이 정리가 됐습니다. 지금까지는 막연히 "중요해 보이면 검증한다" 식이었는데, "재사용성 + 틀렸을 때 영향"이라는 두 축으로 나누고, 애매하면 "외부 공개되거나 되돌리기 어려운 결과물"만 상위 Tier로 올린다는 기준이 훨씬 실행 가능해 보여요. 저는 일단 지명·날짜·수치·출처 같은 신뢰를 무너뜨릴 핵심 주장부터 Tier 2 이상에서 강제로 원문 대조를 걸어보려고 합니다.

한 가지 더 여쭤보고 싶은 게, "사람 확인 대상"으로 남기신 항목들은 실제로 어떤 식으로 큐잉해두시나요? 인박스에 플래그만 남겨두시는지, 아니면 별도 알림(텔레그램/슬랙 등)으로 받으시는지 궁금합니다. 이 부분만 잡히면 저도 주간 트리아지를 스케줄 작업으로 넘겨볼 수 있을 것 같습니다.

^^ 알림을 줬는데도 사람이 태만하게 작업하지 않고 그냥 있으면 자동화하던 그렇지 않던 시스템이 점점 쓰레기가 쌓이겠네요. AI한테 일을 자동화해서 시키더라도 사람이 중간에 부품역할은 철저히 해줘야 한다인 것 같습니다.

유피테르 프로필 이미지
유피테르2026.07.29

신규 자료를 무조건 00-inbox에 먼저 착지시키고, frontmatter·ROUTER 분류·INDEX/LOG 갱신·lint까지 한 흐름으로 묶어 직접 시험하신 점이 특히 좋았습니다. 단순히 AKM 구조를 소개하는 데 그치지 않고 웹 리서치와 영상 자료를 같은 파이프라인에 태워 보셔서, 에이전트가 파일을 흩뿌리지 않게 만드는 ‘인박스 우선’ 규칙의 실용성이 선명하게 느껴졌어요. 실제로 반복해 쓸 수 있는 묶음 명령까지 남겨주셔서 다른 분들도 적용하기 좋은 사례가 됐네요.

강군 프로필 이미지
강군2026.07.29

꾸기작님, 사례 글 감사합니다. 이 글을 통해 AKM 구조에 대해서 한 번 더 살펴보고, 새로운 자료가 어떤 식으로 이동하여 지식화 되고, 사용되는지 더 깊게 파야겠다는 생각이 듭니다!

_묘랑 프로필 이미지
_묘랑2026.07.30

오류 지적이 정정으로 끝나지 않고 라는 규칙으로 남은 흐름, 이게 AKM의 실물 증거네요. 게다가 "사용자 요청문의 전제도 검증 대상"까지 규칙에 넣으신 게 인상적입니다. 출처가 상충할 때 단정 대신 병기로 처리하신 것도 좋은 기본값 같고요.
akm이 실제로 흐르는 것을 샘플로 본것 같아요. 배우고 싶은 사례네요!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기