오픈클로로 카톡방 피드백 자동 수집 → AI 분류 → 해결, PM이 승인만 하면 개선되는 파이프라인 만들기

📝 한줄 요약

카카오톡방과 웹 위젯으로 유저 피드백을 자동 수집하고, AI가 분류·그룹핑·개선 계획까지 세워주고, 해결되면 유저에게 자동 알림까지 보내는 풀 파이프라인을 Claude Code로 3일 만에 만들었습니다.

🎯 이런 분들께 도움돼요

• 서비스를 운영하면서 유저 피드백 처리를 자동화하고 싶은 PM/기획자

• 혼자 또는 소규모 팀으로 서비스를 만드는데 피드백 관리에 시간을 뺏기고 싶지 않은 분

• "피드백은 받는데 처리가 안 돼서" 유저 신뢰를 잃고 있다고 느끼는 분

😫 문제 상황 (Before)

저는 AI 실습 플랫폼을 만들고 있습니다. 베타 출시를 앞두고 있었는데, 한 가지 고민이 있었어요.

"베타 유저 피드백이 들어오면, 어떻게 처리하지?"

피드백 채널도 없고, 들어와도 내가 일일이 읽고 분류하고 대응해야 하고, 해결해도 유저한테 알려줄 방법이 없는 상태였습니다. 소규모 팀에서 이걸 수동으로 하면 금방 한계에 부딪힐 게 뻔했어요.

그래서 베타 시작 전에 미리 자동화된 피드백 루프를 만들어놓기로 했습니다. AI 에이전트를 최대한 활용해서, 피드백이 들어오면 → AI가 알아서 분류하고 → 해결 방안까지 제안하고 → 해결되면 유저한테 자동으로 알려주는 시스템을요.

특히 카카오톡 오픈채팅방에서도 피드백을 자동으로 수집하고 싶었습니다. 베타 유저들이 가장 편하게 의견을 말하는 곳이 카톡방이니까요.

🛠️ 사용한 도구

• AI 코딩 도구: Claude Code

• AI 모델: Gemini Flash (피드백 분류·그룹핑·개선 계획 생성)

• 프로젝트 관리: Linear (이슈 자동 생성)

• 알림: Slack, 카카오톡 봇

• 소요 시간: 약 3일

🔧 작업 과정

Day 1. 피드백 받을 창구부터 만들자 — 웹 위젯 + 카톡 봇

가장 먼저 한 건 유저가 피드백을 남길 수 있는 채널을 만드는 거였습니다. 두 군데를 동시에 열었어요.

첫 번째는 웹 피드백 위젯. 서비스 화면 하단에 플로팅 버튼을 달았습니다. 유저가 버튼을 누르면 카테고리(버그/기능 제안/UX/기타)를 고르고 피드백을 남기는 구조예요.

피드백 위젯을 만들어줘. 플로팅 버튼 + 카테고리 선택 + 제출하면 Slack으로 알림 오게.

Claude Code가 위젯 컴포넌트, API, Slack 알림까지 한 번에 만들어줬습니다.

그런데 직접 써보니 문제가 보였어요. 위젯 버튼이 채널톡 문의 버튼처럼 생겨서, 유저가 "여기에 피드백을 남겨야 하는구나"라고 인지하기 어려웠습니다.

채널톡 문의 버튼처럼 생겨서 사람들이 인지를 못 할 것 같아. 플로팅 버튼 위에 '피드백을 남겨주세요' 말풍선을 띄우면 어떨까?

말풍선 넛지를 추가하고, 첫 방문 시 환영 토스트도 띄우게 했습니다. 배포 후 직접 테스트해보니 토스트와 말풍선이 겹쳐 보이는 타이밍 이슈가 있어서 바로 수정했어요. 이런 사소한 UX 이슈는 직접 써봐야 잡히더라고요.

누르면 이렇게 피드백을 줄 수 있게 됩니다.

두 번째는 카카오톡 봇 연결. 저는 이미 베타테스트 카톡방에 AI 봇(로찌)을 운영하고 있었는데, 이 봇이 유저 메시지 중 피드백을 감지하면 자동으로 서비스 DB에 저장하도록 연결했습니다.

ALT

한국어 문자 메시지가 포함된 채팅 앱 스크린샷

카톡 자동화는 까다로운 편이에요. macOS 접근성 권한, 전체 디스크 접근 권한, 바이너리 서명 문제 등 시스템 레벨의 허들이 많거든요. 하지만 이미 봇이 돌아가고 있었기 때문에, 피드백 분류 → API 호출 부분만 추가하면 됐습니다.

카카오봇에서 감지한 피드백을 서비스 DB로 보내는 webhook API를 만들어줘. Bearer 토큰 인증 + 중복 방지 포함해서.

이렇게 Day 1에 웹 위젯 + 카톡 봇 두 채널로 피드백이 자동 수집되는 구조를 완성했습니다.

Day 2. AI가 알아서 분류하고, 관리 화면도 만들자

피드백이 들어오기 시작하면 금방 쌓입니다. 하나하나 읽고 "이건 버그, 이건 기능 요청, 이건 급한 거..." 수동으로 분류하는 건 현실적이지 않아요.

ALT

한국 검색 엔진의 스크린샷

피드백 파이프라인을 구현해줘. AI가 자동으로 심각도/실행 가능성/우선순위를 판정하고, Admin 화면에서 관리할 수 있게.

Claude Code가 만들어준 핵심 구조는 이랬습니다:

• 5분마다 돌아가는 자동 분류: 새로 들어온 피드백을 AI가 읽고 심각도(critical/major/minor), 실행 가능성(actionable 여부), 우선순위를 자동으로 매깁니다.

• 5단계 상태 관리: 피드백이 접수 → 분류 중 → 분류 완료 → 확인 → 진행 중 → 완료 순서로 흘러갑니다.

• Admin 관리 화면: 소스별(웹/카톡), 상태별, 심각도별로 필터링해서 볼 수 있는 대시보드.

여기서 끝이 아니었습니다. 피드백을 분류만 해놓으면 여전히 "이걸 어떻게 해결하지?"는 내가 고민해야 해요. 그래서 AI가 비슷한 피드백을 자동으로 묶고, 개선 계획까지 세워주는 기능을 추가했습니다.

admin feedback에 유저 피드백이 쌓이고 있는데, 하나씩 일일이 확인하기 전에 뒷단에서 우선순위 높은 것들은 AI가 확인해서 개선 계획까지 세워놓는 걸 구현하고 싶어.

예상 이슈:

1. 중복되는 비슷한 피드백 → 그룹핑 필요

2. 유저 피드백이 추상적이면 계획 수립이 어려움

3. 너무 마이너한 것까지 계획을 세울 수 있음

Claude Code와 함께 이 세 가지 예외 케이스를 먼저 설계한 뒤 구현에 들어갔습니다.

2시간마다 돌아가는 자동 분석이 이런 일을 합니다:

1. 쌓인 피드백 중 비슷한 것끼리 시맨틱 그룹핑 (AI가 의미 기준으로 묶음)

2. 그룹별로 어떤 코드 파일을 수정해야 하는지 자동 매핑

3. 구체적인 개선 계획 자동 생성

Admin 화면에 "개선 계획" 탭이 추가돼서, 나는 AI가 세워둔 계획을 보고 승인/무시/Linear 이슈 생성 중 하나만 누르면 됩니다.

Linear 이슈 생성을 누르면 프로젝트, 담당자, 스프린트까지 자동으로 세팅돼서 이슈가 만들어집니다.

Day 3. 피드백 루프의 마지막 조각 — "해결했어요" 자동 알림

피드백 루프에서 가장 중요한 마지막 조각이 남아있었습니다. "유저가 보낸 피드백이 실제로 반영됐다는 걸 알려주는 것."

대부분의 서비스가 피드백을 받아도 묵히거나, 해결해도 유저한테 알려주지 않습니다. 유저 입장에선 "내 피드백이 반영됐는지 모르는" 상태가 되는 거죠. 이걸 바꾸고 싶었습니다.

피드백 수정 완료 알림을 구현해줘. Admin이 피드백을 해결하면 유저한테 자동으로 알려주기.

Claude Code가 두 가지 알림 채널을 만들어줬습니다:

1. 인앱 알림 (웹 위젯) 유저가 다음에 서비스에 접속하면 위젯에 토스트가 뜹니다: "보내주신 피드백이 반영되었습니다!" 확인을 누르면 감사 메시지가 나오고, "내 피드백" 히스토리 탭에서 접수→분류→해결 과정이 타임라인으로 보입니다.

직접 테스트해보니 "확인" 버튼을 눌렀을 때 모달이 그냥 닫히고 뭐가 반영됐는지 확인이 어려웠어요.

정확히 뭐가 어떻게 반영되었는지 확인하고 싶을 것 같고, 내가 준 피드백으로 수정된 걸 쌓아서도 보고 싶을 것 같은데...

그래서 히스토리 탭을 추가하고, 피드백별 상태 타임라인을 보여주는 UI로 개선했습니다.

2. 카톡방 자동 공지 Admin이 피드백을 "완료" 처리하면, 카톡 봇(로찌)이 베타테스트 카톡방에 "피드백 반영 완료" 메시지를 자동으로 보냅니다. 카톡방에서 피드백을 줬던 유저는 같은 카톡방에서 "반영됐다"는 소식을 바로 받게 되는 거예요.

실제로 테스트 발송을 해봤는데, 카톡방에 메시지가 잘 날아가는 걸 보고 좀 감동이었습니다. 피드백을 주면 → 알아서 분류되고 → 해결되면 → 유저한테 돌아가는, 완전한 루프가 3일 만에 완성된 거니까요.

✅ 결과 (After)

Before vs After

전체 파이프라인 흐름

유저가 피드백 남김 (웹 위젯 or 카톡방)
        ↓
AI 자동 분류 (5분마다) — 심각도, 우선순위, 실행 가능성
        ↓
AI 시맨틱 그룹핑 (2시간마다) — 비슷한 피드백 묶기
        ↓
AI 개선 계획 자동 생성 — 어떤 화면의 어떤 문제를 어떻게 수정할지
        ↓
PM이 Admin에서 승인 → Linear 이슈 자동 생성
        ↓
개발자가 해결 → Admin에서 완료 처리
        ↓
유저에게 자동 알림 (인앱 토스트 + 카톡방 공지)

💬 이 과정에서 배운 점

효과적이었던 것

1. 파이프라인을 단계별로 쪼개기: "수집 → 분류 → 그룹핑 → 알림"을 한꺼번에 만들지 않고, 하루에 한 단계씩 완성했습니다. 각 단계를 배포하고 직접 테스트한 뒤 다음 단계로 넘어가니까 실수가 적었어요.

2. 예외 케이스를 먼저 설계하기: "비슷한 피드백 중복 처리", "추상적인 피드백", "너무 마이너한 이슈" 같은 엣지 케이스를 구현 전에 Claude Code와 함께 정리한 게 결과물 품질에 큰 차이를 만들었습니다.

3. 배포 → 직접 테스트 → 즉시 수정 루프: Claude Code가 배포 상태 확인까지 해주니까 "코드 수정 → 배포 → 테스트 → 피드백 → 수정" 사이클이 빠르게 돌았어요.