AI를 단순 챗봇이 아닌 '일 잘하는 에이전트'로 만드는 법
2026.07.30
"AI에게 잘 물어보는 것보다 중요한 건, AI가 읽을 정본(Single Source of Truth)을 제대로 만들어주는 것이다."
이번 지피터스 스터디에서 AKM과 LLM Wiki 개념을 배우며 일하는 방식에 대해 얻은 깨달음을 정리합니다.
1. 수업을 시작하며: "왜 AI 답변은 매번 널뛰기할까?"
그동안 AI를 활용하면서 느꼈던 가장 큰 답답함은 답변의 일관성이었습니다. 프롬프트를 잘 써서 오늘 만족스러운 답변을 얻어도, 내일 다시 물어보면 또 다른 엉뚱한 소리를 하곤 했습니다. 자료를 한꺼번에 많이 넣어주어도 법적 예외나 핵심 맥락을 놓치는 경우가 많았습니다.
"어떻게 해야 AI가 내 업무 맥락과 판단 기준을 완벽히 이해하고 계속 함께 일할 수 있을까?"
이 고민의 답을 찾기 위해 이번 스터디에 참여했습니다.
2. 이번 수업에서 얻은 핵심 깨달음 3가지
① Source(원본)와 Knowledge(지식)의 명확한 분리
가장 인상 깊었던 원칙은 법령/자료 원문과 나의 해석(지식)을 절대 섞지 않는 것이었습니다.
Source: 수정되지 않는 원본 자료 (법령, 조례, raw data)
Knowledge: 원본을 바탕으로 재사용 가능하게 가공한 판단 기준과 업무 매뉴얼
이 둘을 분리해두어야 AI가 오답을 내더라도 원본이 오염되지 않고, 지식의 출처를 투명하게 추적할 수 있음을 배웠습니다.
② 100% 자동화보다 중요한 '안전 게이트(Verify)'
AI가 알아서 다 해주길 바라는 것은 환상이었습니다. 행정이나 실무 현장에서는 '그럴듯한 정답'보다 '위험하지 않은 안전함'이 훨씬 중요합니다. 근거가 모호하거나 법적 위험이 높은 영역은 AI가 단정 짓지 않고 담당자 검토(HOLD)로 남기도록 안전장치를 만드는 구조가 왜 필수인지 명확히 알게 되었습니다.
③ 오답을 시스템으로 환류하는 회귀개선(Learn Back)
AI가 틀린 답을 냈을 때, 단순히 프롬프트 문장만 고치고 끝내는 게 아니라:
검색 문제인가?
매뉴얼 지식이 부족한가?
절차가 모호한가?
원인을 나누고 Markdown 위키 정본과 절차(AGENTS.md) 자체를 개선해야 오늘 발견한 실패가 내일의 더 강력한 자산이 된다는 것을 깨달았습니다.
3. 앞으로 내 실무에 적용해볼 점
이번 스터디를 통해 단순히 '프롬프팅 기술'을 배운 게 아니라, 나만의 지식 운영체계(LLM Wiki)를 만드는 관점을 얻었습니다.
Inbox-first: 떠돌아다니는 아이디어나 사례를 검증 전까지 '검토 대기' 상태로 관리하기
지식의 정본화: 흩어진 개인 노트와 업무 노하우를 에이전트가 읽을 수 있는 Markdown 위키로 구조화하기
에이전트와의 협업: Claude Code, VS Code 등 개발/업무 환경에서 에이전트가 하나의 공유된 매뉴얼을 읽고 작업하도록 세팅하기
4. 마치며
AI에게 자료를 많이 집어넣는다고 곧바로 조직의 지식이 되지는 않았습니다. 원본과 해석을 나누고, 예외를 기록하고, 사람의 검증을 거쳐 매뉴얼로 승격시키는 과정이야말로 진정한 '에이전트용 지식 구축'이었습니다.
수업에서 배운 AKM 지식 관리 체계를 바탕으로, 전임자가 떠나도 맥락이 남고 후임자와 에이전트가 함께 이어 쓰는 살아있는 지식 시스템을 계속 만들어보려 합니다!
함께 스터디하며 좋은 인사이트 나눠주신 크루분들과 스피커분들께 감사드립니다! 🙏
로그인하고 댓글을 남겨 주세요
"AI가 읽을 자료를 잘 만들어주는 게 중요하다"
"행정 실무에서는 그럴듯한 정답보다 위험하지 않은 안전함이 중요하다"
명확한 인사이트 나눠주셔서 저도 배우고 갑니다 😊
AI 답변의 일관성 문제를 정본(Single Source of Truth) 부재로 짚어낸 부분이 인상 깊었습니다. 프롬프트만 잘 쓴다고 해결되는 게 아니라, AI가 읽을 자료 자체를 제대로 설계해야 한다는 관점 전환이 이 글의 핵심 같습니다. Source(원본)와 Knowledge(지식)를 분리해야 오답이 나와도 원본이 오염되지 않는다는 원칙은 실무에 바로 적용할 수 있는 유용한 기준입니다.
100% 자동화보다 안전 게이트(Verify)가 중요하다는 점도 공감합니다. 근거가 모호하거나 법적 위험이 높은 영역을 AI가 단정 짓지 않고 HOLD로 남기도록 설계한다는 발상은, 그럴듯한 정답보다 위험하지 않은 안전함을 우선하는 행정·실무 현장의 특성을 정확히 반영한 것 같습니다.
오답을 검색 문제, 매뉴얼 지식 부족, 절차 모호함으로 원인을 나누어 Learn Back으로 환류한다는 접근도 좋았습니다. 단순히 프롬프트 문장만 고치는 게 아니라 위키 정본과 AGENTS.md 자체를 개선한다는 것은, 실패를 그때그때 넘기지 않고 자산으로 축적하는 시스템 사고라고 봅니다.
Inbox-first로 검증 전 아이디어를 관리하고, 흩어진 노하우를 정본화하고, 에이전트가 하나의 공유 매뉴얼을 읽고 작업하도록 세팅한다는 실무 적용 계획도 구체적이라 좋습니다. 전임자가 떠나도 맥락이 남는 살아있는 지식 시스템을 만들어가신다니, 앞으로의 여정을 응원하겠습니다!
질문을 잘 다듬는 것보다 AI가 돌아가서 확인할 정본을 만들어야 한다는 결론에 고개가 끄덕여졌습니다. 행정 업무에서는 그럴듯하게 답하는 능력보다 근거가 부족할 때 멈추는 쪽이 훨씬 든든하니까요. 실제 업무 질문 하나가 위키의 어떤 문서를 고치는지 다음 사례에서 만나게 되겠네요.
박은아 님, “잘 물어보기보다 AI가 읽을 정본을 만드는 일”로 무게를 옮기신 한 줄이 또렷했습니다. Source와 Knowledge를 섞지 않는 원칙, 위험 구간 HOLD, 오답을 위키· AGENTS.md로 환류하는 Learn Back까지 스터디 핵심이 실무 언어로 잘 정리돼 있습니다. Inbox-first와 공유 매뉴얼 협업으로 이어 가시겠다는 적용 계획도 현실적으로 읽혔습니다.
덕분에 잘 읽었습니다~



AKM 핵심을 실무와 정확하게 연결하셨네요. Source와 Knowledge를 분리해서 "오답이 나와도 원본이 오염되지 않는" 구조를 만든다는 것, 개념으로만 듣고 끝나기 쉬운데 법령·조례 실무에 직접 적용하는 지점까지 가져오셔서 훨씬 설득력이 있었어요.
특히 회귀개선(Learn Back) 부분 — 틀린 답이 나왔을 때 프롬프트 한 줄만 고치는 게 아니라, 검색 문제인지·지식 부족인지·절차 모호한지를 나눠서 위키 자체를 고쳐간다는 접근이 인상 깊었습니다. 그래야 실패가 다음 번엔 안전망이 되는 거니까요.
"전임자가 떠나도 맥락이 남는 시스템"이라는 목표, 응원하고 있을게요 🐈⬛