소개
현재 하고 있는 RAG 시스템 구축과 카카오톡 챗봇 개발을 통해, 반복 업무를 자동화하고 개인 생산성을 높이는 솔루션을 실험 중입니다.
사업계획서 작성 후 고도화는 진행하고 있지 않지만, 향후 어떤 아이템이든 얹을 수 있는 기반 기술을 개발하고자 했습니다. 특히 일정 조율, 요약, 정보 검색 등 일상적 운영 업무에 들어가는 시간을 줄이기 위한 구조 설계를 시도했습니다.
진행 방법
사용 도구:
로컬 AI 인프라: FastAPI, Docker, Qdrant, Gemini API
챗봇 인터페이스: KakaoTalk + 메신저봇R
구현 설계 : 클로드
예시 - 카카오톡에서 받은 메시지를 로컬 RAG에 전달하는 FastAPI 서버
@app.post("/message")
def handle_message(msg: Message):
query = msg.text
user = msg.sender
# 벡터 DB에서 관련 문서 검색
docs = rag.retrieve(query, top_k=5)
answer = rag.generate_answer(query, docs)
return {"text": answer}
결과와 배운 점
배운 점
단순한 챗봇이 아닌, 실제 내 데이터에 근거한 응답을 주는 시스템을 만들기 위해선 데이터 구조화 + 프롬프트 설계 + 벡터 검색 최적화가 동시에 필요하다는 걸 느꼈습니다.
Whisper와 같은 오픈소스 모델을 제대로 활용하면 회의 녹음 요약, 스터디 정리, 대화 기록 분석까지 다양한 자동화가 가능합니다.
시행착오
WhisperX 도커 설치 시 CUDA 오류, VM 제한 등으로 설치 시간이 오래 걸렸습니다.
카카오톡 메신저봇은 이미지/버튼 응답에 제한이 있어 구조를 API 중심으로 바꾸는 설계 필요.
나만의 꿀팁
RAG는 단순 검색이 아니라 ‘맥락 있는 응답’을 만드는 데 유용하며, 특히 개인 데이터 기반 응답에 최적입니다.
오픈소스만으로도 고성능 시스템 구축 가능하니, 비용 없이 AI 생산성 시스템 실험하기에 적합합니다.
