소개
안녕하세요.
저는 코드를 한 줄도 못 짜는 비개발자입니다. 회사에서 경영지원팀으로 일 하고 있고 임직원 120명이 매일 같은 질문을 하는 날이 많아, AI 도구의 힘을 빌려 사내 챗봇을 직접 만들어 베타 버전을 테스트하고 있습니다.
시도한 것: Google Chat에서 자연어로 사내 규정을 묻고 답하는 챗봇
이유: 매일 받는 단순 반복 질문(통신비·경조금·휴가신청·와이파이·복합기 등)을 줄이고, 임직원이 24시간 즉시 답을 받을 수 있도록 하기 위해
비슷한 도전을 하시는 비개발자 분들께 시행착오를 공유하고 싶어 글을 남깁니다.
진행 방법
어떤 도구를 사용했고, 어떻게 활용하셨나요?
사용한 도구
· Google Chat (사내 메신저, 챗봇 인터페이스)
· Google Cloud Run (서버, 자동 확장)
· Gemini 2.5 Flash API (LLM 답변 생성 + 의도 분류)
· Discovery Engine (사내 규정 RAG 검색 엔진)
· Claude Code (AI 코딩 도구 — 제가 한 줄도 안 짰습니다)
어떻게 활용했나
저는 매일 Claude Code와 대화하면서 작업했습니다. 코드를 작성하는 건 AI가, 저는 "이런 기능이 필요해 / 이건 안 돼 / 이렇게 답하면 좋겠어"라는 의도를 명확히 전달하는 역할만 했습니다.
Tip: 사용한 프롬프트 전문을 꼭 포함하고, 내용을 짧게 소개해 주세요.
"지금 답변이 정보 나열식이라 너무 메말라. 다른 회사 CS 챗봇처럼' 의도 확인 멘트 → 핵심 답변 → 다음 액션 → 관련 주제 추천' 순으로 만들어줘. 공감이 필요한 케이스(분실·아픔·사고)엔 짧은 공감 멘트도 자동으로."
→ Claude가 답변 후처리 함수를 만들어 모든 답변 첫 줄에
자동으로 의도 헤더 + 공감 멘트 부착.
Tip: 활용 이미지나 캡처 화면을 꼭 남겨주세요.
한국어로 된 문자 메시지의 스크린샷
Tip: 코드 전문은 코드블록에 감싸서 작성해주세요. ( / 을 눌러 '코드 블록'을 선택)
# 임직원의 다양한 표현을 사내 표준 개념으로 매핑하는 LLM
지침
"A1-1. [사용자 의도 매핑 - 매우 중요] "
"임직원마다 질문 성향이 매우 다릅니다.
비표준어·줄임말·은어로 질문해도 "
"그 이면의 '진짜 의도'를 파악해 사내 공식 개념으로 자동
치환한 뒤 답하세요.\n"
" - '소노', '콘도', '리조트' → 휴양시설 이용 규정\n"
" - '법카 말고 갠카' → 경비 청구·지출 결의\n"
" - '아파서 뻗을 때' → 병가\n"
" - 'PC 깡통됨' → IT 헬프데스크\n"
"답변 시: (1) 어떻게 이해했는지 짧게 확인 "
"(2) 검색 결과 기반으로 명확한 절차 안내 "
"(3) 환각·창작 절대 금지"결과와 배운 점
배운 점과 나만의 꿀팁을 알려주세요.
배운 점 및 시행착오 부분
"되는 줄 알았는데 실제로 써보니 다 깨졌어요"
처음엔 잘 돌아가는 것 같았는데, 실제로 임직원이 쓰기 시작하니 별별 문제가 다 튀어나왔습니다.
· 같은 의도 다른 표현 ("스톡옵션" vs "주식매수선택권")
· 모바일에서 PDF 미리보기 빈 화면 (한컴 docx 호환성 문제)
· 답변 캐시가 1시간 동안 옛 오답을 반복
· 출처 링크가 PDF가 아닌 폴더로 가버림 (보안 위험)
· 두 가지 질문 동시에 던지면 첫 번째만 답함
· "성과 등급" → "콘도" 같은 엉뚱한 매칭
▶ "AI가 '해결됐어요'라고 해도 직접 테스트해야 합니다"
이게 가장 큰 교훈이었어요. AI 코딩 도구도 자기 결과를 과신할 때가 있습니다. 제가 직접 챗봇에 질문 던져 보고 눈으로 확인 안 하면, 사실 안 고쳐진 채로 "고쳤습니다" 답이 오는 경우가 꽤 있어요.
▶ "임직원 피드백이 진짜 정답"
운영 시작 후 "이런 표현으로 물었는데 안 됐어요"라는 동료 피드백이 가장 값졌어요. 매크로 90개가 처음부터 있었던 게 아니라, 실제 임직원 질문 패턴을 받아가면서 늘어난 결과입니다.
나만의 꿀팁
· AI에게 "코드 짜줘"가 아니라 "내가 원하는 게 이거야"라고 의도를 전하세요.
· 작은 단위로 자주 배포하세요. 완벽한 한 번보다 빠른 반복이 정답이에요.
· 새 기능 추가할 때마다 자체 회귀 테스트(자동 점검 스크립트)를 같이 만드세요. 안 그러면 옛 기능이 깨졌는지 모르고 넘어갑니다.
· 사용자 질문 로그를 자동으로 시트에 적재하세요. 어떤 질문이 자주 들어오고 어떤 답이 부실 한지가 실 데이터로 보입니다.
도움이 필요한 부분이 있나요?
답변 정확도는 어느 정도 잡았는데, 답변 톤과 깊이를 다른 회사 챗봇 수준까지 끌어올리는 게 어려워요.
· 카카오톡 챗봇처럼 카드형/리스트형 응답 활용
· 풀무원 '두리번'처럼 답변과 관련 규정을 함께 풍부하게 제공
· Intercom Resolution Bot처럼 답변 안 되면 자연스러운 escalation
이쪽 노하우 있으신 분들 댓글로 조언 주시면 정말 감사하겠습니다.
앞으로의 계획이 있다면 들려주세요.
· 답변 본문 일괄 리프레시 (90개 매크로 표준 템플릿으로 재작성)
· 매크로 안 잡히는 질문에 RAG가 더 풍부히 답하도록 보강
· 자동 escalation 강화 (답변 만족도 측정 + 담당자 연결 자동화)
· 사용자 케이스별 분기 답변 (정규직/임원/신규입사자 등)
도움 받은 글 (옵션)
참고한 지피터스 글이나 외부 사례를 알려주세요.
· 풀무원 HR 챗봇 '두리번' 사례: 인사 문서 기반 답변 + 관련 규정 자동 제공으로 할루시네이션 최소화
· Intercom Resolution Bot: 답변 타겟팅(사용자 속성별 분기) + 명확한 escalation 경로
· 카카오 챗봇 응답 패턴: 텍스트형/이미지형/카드형/리스트형 다양한 응답 형태 활용
· Empathetic Chatbot 연구 (JMIR 2025): 공감은 "친절한 말"이 아니라 "사용자 컨텍스트 이해"
읽어 주셔서 감사합니다 🙏
