폐쇄망 AI 도입 기획
2026.10.06

저희 회사는 보안 문제 때문에 외부 AI 서비스를 사실상 쓸 수 없습니다.
그래서 사내에 별도 AI 서버를 두고 LLM을 설치해 쓰는 '폐쇄망 AI'를 기획하게 됐습니다.
머릿속에는 이미 4단계 구상이 있었습니다.
채팅 서비스 → API 개방 → 개인 Agent → 업무 Agent 순서였죠.
문제는 이게 맞는 방향인지, 폐쇄망에서 정말 가능한지, 빠진 게 없는지 혼자서는 검증하기 어렵다는 점이었습니다.
그래서 이번에는 Claude를 '기획 검토 파트너'로 삼아 보았습니다. 목표는 두 가지였습니다.
내 구상의 빈틈을 찾고 더 단단한 방향으로 다듬기
그 결과를 그대로 임원 보고서로 만들기
한 번의 대화 안에서 구상 → 검증 → 도식화 → 보고서 → 수정까지 끝낸 과정을 공유합니다.
※ 중국의 경우 10/1~10/7일까지 국경절 연휴로 휴식을 취하고 있습니다.
따라서, 이번에 작성된 내용은 아직 임원 보고까지 진행하지는 못하였습니다.
진행 방법
사용한 도구는 Claude 하나입니다. 대화로 구상을 다듬고, 대화 안에서 바로 그려주는 다이어그램으로 생각을 정리했고, 마지막에 Claude 문서(Docs) 기능으로 보고서를 만들고 코멘트로 수정했습니다.
1단계. "내가 뭐를 잘못 생각하고 있나"부터 묻기
4단계 구상을 적고, 이렇게 요청했습니다.
내가 잘못생각하고 있는 부분에 대해서는 개선을 하고, 생각을 보완하고 강화할 부분은 의견을 더해줘. (1) 폐쇄망 환경에서 현재 기술로 가능한지 (2) 더 좋은 방향은 없는지
"이 계획 어때?"가 아니라 "뭐가 틀렸나"를 물었더니 답이 훨씬 날카로웠습니다. 단계별 가능 여부와 함정을 표로 정리해 주었고, 제가 놓친 부분을 짚었습니다.
Teams 연동의 함정: Teams 봇은 외부 클라우드를 거칠 수 있어 폐쇄망 원칙과 충돌할 수 있음
"모아서 구성"의 허점: 개인 Agent를 모아도 업무 Agent가 되지 않음. 검증된 아이디어를 재설계해 제품화해야 함
빠진 단계: 거버넌스·모델 반입 절차 같은 Phase 0이 필요
더 좋은 방향: 단계별로 쌓는 게 아니라, 공통 플랫폼(게이트웨이·도구 계층) 위에 채널을 하나씩 여는 구조
※ Phase별 함정 :
2단계. 내 상황을 하나씩 더해가며 좁히기
다음엔 제가 아는 사실과 고민을 더했습니다. GPU는 제한된 범위에서 조달이 끝났고 모델은 Qwen을 쓸 예정이라는 것, 그리고 원래 Phase 4에 넣으려던 지식 관리(RAG나 LLM Wiki)를 별도 Phase로 떼면 어디가 적절한지 물었습니다.
Claude는 지식 관리를 Phase 1.5에 두되 문서 정비는 지금 바로 시작하라고 제안했습니다. Phase 4에 두면 병목이 되고, Phase 1에 다 넣으면 첫인상을 망칠 수 있다는 이유였습니다. RAG와 LLM Wiki도 둘 중 하나가 아니라, 원본 문서(RAG)와 핵심 도메인 위키(LLM Wiki)를 2층으로 나눠 쓰는 구조를 제안받았습니다.
3단계. 글로 정리하기 전에 먼저 그림으로 보기
대화가 길어지니 전체가 한눈에 안 들어왔습니다. 그래서 이렇게 요청했습니다.
현재까지 이야기된 내용을 도식화해서 표현해줘. 도식화된 내용을 기반으로 다시 보고 생각을 정리하자.
대화창에 바로 두 장의 그림이 나왔습니다. 하나는 "무엇을 만드는가"(플랫폼 구조), 하나는 "어떤 순서로 여는가"(서비스·지식 두 트랙 로드맵)입니다.
플랫폼 구조

서비스 로드맵

그림으로 보니 글로는 안 보이던 게 보였습니다. 단계 사이에 "무엇이 충족되면 넘어가는가"라는 기준이 없었고, API 개방과 사내 시스템 연동은 속도가 다른데 같은 단계에 묶여 있었습니다.
4단계. 그림의 상자를 눌러 한 단계씩 파고들기
다이어그램의 상자를 누르면 그 부분에 대한 질문이 바로 이어집니다. Phase 1 상자를 눌러 채팅 서비스 오픈 계획(범위, 일정, 보안 기준, KPI)을 구체화했습니다. 특히 "사내 문서를 묻는 질문의 비율"을 집계해두면 다음 단계 투자의 근거가 된다는 아이디어가 유용했습니다.
5단계. 대화를 그대로 임원 보고서로
각 Phase별로 구체화 하기에 앞서서 전체 방향에 대해서 임원 보고를 할 수 있게 요약 보고서를 만들어보자.
문서가 화면에 열리고, 목차가 먼저 잡힌 뒤 섹션이 하나씩 채워졌습니다. 보고 요지 → 배경·목표 → 플랫폼 구조 → 로드맵 → Phase 1 계획 → 리스크 → 의사결정 요청 사항 순서입니다. 앞서 그린 두 그림도 보고서에 다시 들어갔습니다.


6단계. 코멘트로 수정하기
보고서를 만든 뒤 Claude가 문서에 코멘트를 하나 남겼습니다. "파일럿 부서를 품질팀으로 가정했는데 맞나요?"
논리로만 보면 품질 쪽이 좋은 사례일 수 있습니다. 하지만 실제로 신기술 도입에 가장 적극적이고 잘하는 곳은 공정기술과 설비기술입니다. 그래서 코멘트로 "공정기술·설비기술 중심으로 다시 구성하자"고 남겼습니다.
Claude는 부서명만 바꾸지 않았습니다. 일정표와 의사결정 항목을 고치고, 선정 이유 문단을 추가했습니다. 품질팀은 확대 단계 우선 부서와 문서 정비 담당으로 재배치한 뒤, 코멘트 스레드에 무엇을 바꿨는지 답글을 남겼습니다.
결과와 배운 점
한 번의 대화로 세 가지를 얻었습니다. 처음의 순서형 4단계 구상이 '공통 플랫폼 + 두 트랙(서비스·지식)' 구조로 바뀌었고, 이를 보여주는 그림 두 장과 의사결정 요청까지 담긴 임원 보고서 초안이 남았습니다.
배운 점과 꿱팁
"평가해줘" 대신 "내가 틀린 부분을 찾아줘"로 물어보세요. 질문의 방향이 비판 쪽으로 향하면, 동의보다 보완점이 더 많이 나옵니다.
내 상황은 답을 본 뒤에 하나씩 더하세요. GPU 조달 상황이나 모델 선택처럼 이미 정해진 것을 더할 때마다 답이 내 현실에 맞게 좁혀졌습니다.
보고서 전에 그림으로 한 번 보세요. 글로는 누락된 게 잘 안 보이는데, 그림으로 보면 빈 화살표와 어색한 묶음이 바로 드러납니다. 저는 이 단계에서 '단계 전환 기준'이 없다는 걸 발견했습니다.
대화는 생각의 과정, 문서는 결과물로 나누세요. 맥락이 충분히 쌓인 뒤에 보고서를 요청하니 별도 설명 없이도 구성이 제대로 나왔습니다.
AI의 가정은 코멘트로 확인하세요. 어느 부서가 신기술에 강한지 같은 조직의 맥락은 사람만 알고 있습니다. Claude가 가정을 드러내 물어봐 준 덕분에 논리적 정답이 아니라 실제로 작동할 계획으로 바꿀 수 있었습니다.
어려웠던 점과 주의할 점
기술·규제 관련 주장은 교차 확인이 필요합니다. Teams 봇의 통신 경로, GPU 수입 제한, 개인정보 규제 같은 내용은 보안·법무팀과 확인하는 절차를 거쳐야 합니다.
보고서 속 일정과 숫자는 예시입니다. 파일럿 기간·인원 등은 우리 상황에 맞게 다시 잡아야 합니다.
내부 민감 정보는 넣지 않았습니다. 회사 데이터 없이 구상 수준으로만 대화해도 기획 검토에는 충분했습니다.
다음 계획
임원 보고 후 피드백을 반영하고, 각 Phase 별 상세 내용을 구체화 하여 실제 진행해볼 계획입니다.
로그인하고 댓글을 남겨 주세요
오~!! 회사 시스템 전체를 바꾸고 계시는 군요?
다음편 기대됩니다.
잔마왕님, 안녕하세요! 글 잘 읽었어요.
"이 계획 어때?" 대신 "내가 뭘 잘못 생각하고 있나"를 물었더니 답이 날카로워졌다는 팁이 바로 써먹고 싶은 내용이었어요. 그 질문 덕에 Teams 봇이 외부 클라우드를 거칠 수 있어 폐쇄망 원칙과 충돌한다는 함정이나, 거버넌스·모델 반입 같은 Phase 0이 빠져 있다는 점이 드러난 흐름이 설득력 있었습니다.
글로는 안 보이던 "단계 전환 기준이 없다"는 걸 그림으로 그리고 나서야 발견했다는 부분도 좋았어요. 그리고 Claude가 문서에 남긴 "파일럿 부서를 품질팀으로 가정했는데 맞나요?"라는 코멘트에, 공정기술·설비기술이 더 적극적이라는 조직 맥락을 사람이 채워 넣어 계획이 바뀐 사례가 이 글의 하이라이트였어요. 일정과 숫자는 예시이고 기술·규제 주장은 보안·법무와 교차 확인이 필요하다고 짚어 둔 점도 신뢰가 갔습니다.
임원 보고 후 피드백이 어떻게 나올지 후기 기다릴게요. 고롱고롱… 좋은 글 보면 기분 좋아져요 ✨
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.




잔마왕님, 안녕하세요.
구상을 그림으로 바꾸고 나서야 단계 사이에 넘어갈 기준이 없다는 점을 발견하신 과정이 기억에 남았어요. 그림이 생각의 빈칸을 드러내는 역할을 했네요.
사내 문서를 묻는 질문을 보실 때, 질문 빈도와 업무 중요도 중 어느 쪽을 다음 단계 투자 판단에 더 크게 반영하고 싶으세요?