본문으로 건너뛰기

벡터DB와 n8n의 chat node를 활용한 맞춤형 챗봇의 시작

이재엽

2024.11.14

벡터DB와 n8n의 chat node를 활용한 맞춤형 챗봇의 시작 본문 이미지

나만의 맞춤형 챗봇 구현기: RAG와 오픈소스로 만드는 CS챗봇의 시작

소개

저는 개인화된 FAQ 챗봇을 만들어보고자 했습니다. 기존의 일반적인 챗봇과는 달리,
사용자의 문서와 데이터를 기반으로 정확한 답변을 제공하는 시스템을 구축하고자 했습니다.

주요 목표:

  • 맞춤형 FAQ 시스템 구축

  • RAG(Retrieval Augmented Generation, 검색 증강 생성) 기술 활용

  • 오픈소스 기반의 자체 호스팅 가능한 솔루션 개발

진행 방법

사용한 도구

1. 문서 처리/임베딩:

  • 벡터 데이터베이스 - https://www.pinecone.io/

  • 임베딩 모델 - openai의 text-embedding-3-small을 사용했어요. 차원이 1,536

    • 업로드한 문서를 쪼개서 관련된 차원에 맞게 분류한 다음 저장을 하는 개념이라고 이해함.

    • 이렇게 임베딩을 하면, LLM이 문서를 편하게 가져올 수 있다고 함.

2. 챗봇 구현:

  • n8n.io, self-hosting방법으로 설치하고, 개인도메인을 연결했습니다.

    • 원래, 로컬서버를 만들어서 사용할 수 있는 데, 챗봇을 외부에서 사용하려면 도메인이 연결이 되어야 합니다.

    • 지난 스터디는 쉬고, 홈서버만드는 거 살펴봤어요.

    • 제 서버.

  • 독립된 url로 챗봇의 레이아웃을 사용

    • 브라우저에 url을 입력하면 바로 사용할 수 있음.

  • proxmox라는 VM을 관리하는 OS를 설치했어요.

    • 클라우드서버를 이용해도 되지만, 왠지 무서워서 홈서버로 접근해보려고 함.

    • 리눅스서버를 설치하고, 도커로 배포해서 사용해보려고 했지만, 더 막강한 게 눈에 띔

    • 그게 바로 proxmox,

      Proxmox 가상 환경의 스크린샷
    • 컴퓨터 1대에 이 서비스를 설치하면, 가상으로 여러대의 PC를 사용할 수 있습니다.

    • 우분투서버도 설치하고, 윈도우서버도 설치하고, 시놀로지나스도 설치하고

      • 네트워크 지식이 많으신 끌매지식 님과 얘기하면서 한번 해봐야겠다고 맘 먹음.

      • 그리고 실험실스터디하면서 여행가J 님께 배운거
        "돈들어요? 안들면 일단 해봐라!!"

    • 스냅샷기능이 있어서 언제라도 되돌릴 수 있고 -> 초보는 안전장치가 있어야 함.

      • 저는 가상피씨를 20년정도 사용했는 데, 이 스냅샷기능은 엄청 편하답니다.

    • 제꺼 아니고, 대략 이런 식으로 생겼어요. 왼쪽에 102,104 이런게 하나의 컴이라고 보시면 됩니다.

      다양한 유형의 데이터를 보여주는 컴퓨터 화면의 스크린샷

구현 과정

1. 문서 전처리 및 데이터베이스 구축

  • 단순하게, 회사소개에 필요한 내용을 워드로 정리해서 구글드라이브에 업로드한다.

  • 구글드라이브에 파일이 새로 생성되면 이걸 트리거해서 벡터디비에 저장하는 것으로 구현한다.
    (구글인증이 제일 어려워. 이것만 잘해도 뭐든 할 수 있을 것 같음)

  • 벡터 데이터베이스에 임베딩 저장

2. n8n의 chat node 살펴보기

  • 독립된 웹이 이미 구현되어 있음.

  • 이 웹에서 대화를 하면 됨

  • 간단하게 UI를 변경할 수 있음.

  • 2가지 모드가 있는 데,
    이 챗을 독립적으로 동작하도록 하거나, 다른 웹페이어 임베딩해서 사용할 수 있음.

동작순서

  1. 문서준비

# GPTERS AI 스터디 매뉴얼

## 1. 프로그램 개요
- 다양한 분야의 AI 스터디 15개 과정 제공
- 7,000여 개의 AI 활용법을 실무에 적용 가능
- 업무자동화, 콘텐츠, 개발, 교육 등 15개 분야의 수백 개 활용 사례 제공

## 2. 스터디 신청 및 참여 방법

### 수강 신청 기간
- 접수 기간: 11/4(월) 11AM - 11/8(금) 3PM
- 신청하지 않은 스터디도 무료 참여 가능

### 수강 프로세스
1. 1주차
   - 월-목: 스터디별 AI 활용 사례 실습 후 수강 신청
   - 토요일: AI 오프 모임 (오프라인으로 만나 친해지기)

2. 2-4주차
   - 월-목: 각자 AI 활용 후 스터디에서 공유
   - 토요일: 베스트 발표회 (최고의 발표자 모아 듣기)

## 3. 제공 스터디 커리큘럼

### 기초 트랙
1. AI와 작가되기에서 전자책 출간! - ISBN 등록부터 판매까지
2. 왕초보도 콘텐츠 크리에이터 - 영상, 블로그, 브로슈어까지

### 기술 트랙
3. AI 코딩 주도 - 파이썬 사무자동화 스터디
4. ChatGPT 1000% 활용하는 프롬프트 스터디
5. 2천만 크리에이터의 프롬프트 컨설팅 수준 따라가기
6. LangGraph 코딩 강의로 나만의 서비스 만들기

### 개발 & 프로젝트 트랙
7. Cursor로 개발 생산성 극대화하기
8. 팀원을 위한 맞춤형 AI 업무 자동화하기
9. AI 프로젝트 스터디: 손쉬운 POC 완성하기

### 교육 & 연구 트랙
10. 마케터를 위한 골든 룰 - 효과 극대화의 선례부터 만들기
11. AI 신사업 개발 - 기술 트렌드 파악하기
12. 미래형 강의를 위한 에듀테크M 툴 활용 정복

### 콘텐츠 & 미디어 트랙
13. Midjourney, gen3, Kling으로 만드는 영상 프로덕션
14. 스터디의 정답은! AI로 1위 사업 업무 자동화
15. AI와 마크다운을 활용한 나만의 지식관리 & 연구

## 4. 특징 및 혜택
- 1개 가격으로 15개 스터디 참여 가능
- 시간이 된다면 15개 모두 참여 가능
- 매일 전달되는 베스트 AI 사례 이메일
- 1-4주차 평일: 원하는 요일만 참여해도 OK

## 5. 참고사항
- 스터디 13기 모집 마감
- 스터디 14기 오픈 시작 예정
- 대기 신청하시고, 오픈 직후부터 받을 수 있는 얼리버드 혜택 확인하세요

## 6. 학습 환경
- 오프라인 강의장 제공
- 실습 환경 완비
- 프로젝터 및 스크린 구비
- 참여자 간 교류를 위한 공간 마련
  1. 문서를 구글드라이브에 업로드합니다.

  2. 구글드라이브에 문서가 생성되면 자동으로 pinecone에 저장을 합니다.

    Google 드라이브 사용 과정을 보여주는 다이어그램
  3. pinecone에 저장된 모습

항목 목록을 보여주는 웹페이지의 스크린샷

이렇게 벡터디비에 저장이 되면 이 내용을 바탕으로 채팅을 할 수 있습니다.

프로세스의 흐름도

n8n이 좀 더 편해보이는 부분이 이런 거였어요. Ai Agent라는 메가노드에 여러가지 툴을 붙혀서 하나의 기능을 할 수 있는 데, 이 방식이 좋아보였습니다.

실제 채팅url

한국어 페이지 스크린샷
한국어 텍스트가 있는 페이지

결과와 배운 점

성과

  • 자체 데이터 기반의 정확한 답변 제공(을 하려면, 프롬프트의 정교화가 있어야겠죠?)

  • 오픈소스 기반으로 비용 효율적인 구현, 내 컴에 서버를 구축하다.

    • 여러대의 서버를 쉽게 설치가능하니 소상공인들 대상으로 간단하게 구축해줄 수 있을 것 같음.

  • self-hosting, Docker, 우분투서버, proxmox등을 배우게 됨.

배운 점

  • RAG 시스템의 실제 구현 경험

  • 벡터 데이터베이스를 사용해볼 수 있었다.

  • 오픈소스가 너무 좋다.

  • n8n도 좋다.

향후 계획

  • 웹페이지에 챗봇위젯을 장착하는 걸 해보려고 함.

  • 노코드 웹페이지제작 서비스에 사용할 수 있는 지 여부

  • 오픈소스 LLM을 이용해서 무료모델로 대체해서 사용

27

함께 이야기해요 27

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2024.11.19

RAG를 실제로 구현한 사례라서 더욱 흥미롭게 느껴지는 것 같습니다. 서버가 자체 서버인 점도 매력도를 높인 것 같아요.

샘호트만 프로필 이미지
샘호트만2024.11.14

와우 진짜 재미있어보입니다..

박정기 프로필 이미지
박정기2024.11.14

호트만님 잘 지내시죠!?

샘호트만 프로필 이미지
샘호트만2024.11.15

@박정기

😂😂😂 정기님 보고싶네요~😆

이재엽 프로필 이미지
이재엽2024.11.15

오랜만입니다. 엊그제 유투브TV에서 봤어요. 연예인!! 잘 지내시죠?

박정기 프로필 이미지
박정기2024.11.15

@샘호트만

저두요!!!😆 담에 한번 봬요!! 오프라인에서!

샘호트만 프로필 이미지
샘호트만2024.11.15

@이재엽

연예인이라뇨... 😅 n8n 사우론의 눈 마냥 모니터링하고 있으니, 좋은 글 기대하고 있겠습니다 :)

이모카 프로필 이미지
이모카2024.11.14

와,, 이런건 언제쯤 할 수 있을까요~~ 저는 메이크도 어려워요';;;아무튼 물어볼 분이 있어 든든합니다

이재엽 프로필 이미지
이재엽2024.11.15

Make easy!!

끌매지식 프로필 이미지
끌매지식2024.11.14

와~~~ 이걸 해내셨군요. 절로 감탄이 나오는 작업입니다. 저도 서버 다룰 줄만 알기만 할 뿐 이렇게 AI에 활용하지 못해 고민이었는데 정말 대단하십니다.
n8n이 웃고 있는 이모티콘인줄 알고만 있었던 1인이라...

여행가J 프로필 이미지
여행가J2024.11.14

끌매지식님!!!!! 보고싶어요!!!!

끌매지식 프로필 이미지
끌매지식2024.11.14

@여행가J

저도 다들 너무 보고 싶습니다 T.T

아.. 잠깐 쉰다는게 쉬는것 같지가 않고 많이 허전하네요.

올핸 마지막 스터디이니 내년에 꼭 뵐께요

한 번 지피터스인이면 끝까지 지피터스인입니다.

언제나 항상 감사해요

이재엽 프로필 이미지
이재엽2024.11.15

덕분입니다. 든든한 분이 계셔서 이렇게 질러보는 거죠. 보고싶어요!!

여행가J 프로필 이미지
여행가J2024.11.14

재엽님은 점점 굇수가 되어가고.... ㅋㅋㅋ n8n 으로 담기수에 스터디장 도전!!??

박정기 프로필 이미지
박정기2024.11.14

담기수 저 N8N할려고했어요!!!

박정기 프로필 이미지
박정기2024.11.14

문과생도 N8N

멍멍_ 프로필 이미지
멍멍_2024.11.14

@박정기

셀프호스팅, ssl설정 등도 함께 다뤄주시면 최고일 듯 합니다

이재엽 프로필 이미지
이재엽2024.11.14

@멍멍_

ssl설정과 리버스프록시만 하면 완벽하죠!! 저도 정리중입니다.

여행가J 프로필 이미지
여행가J2024.11.14

@박정기

목욜에 하면 안됨...ㅋㅋㅋㅋ나 들을래요!!!

박정기 프로필 이미지
박정기2024.11.14

와!!!!!!!!! miniLAB 미니랩님!! 제가 하고 싶은거 먼저하셨군요...!

N100 비슷한거 저도 샀었는데, 저는 맥미니로 구축해보고 후기 남겨드리겠습니다!! 진짜 사례글 너무 잘봤고

저는 요즘 N8N과 사랑에 빠졌습니다..! 너무 좋지않나요?

| 자체 데이터 기반의 정확한 답변 제공(을 하려면, 프롬프트의 정교화가 있어야겠죠?)

-> 제가 열심히 공부하고 코칭한 분야에서 느낀 부분으로 이 사례 개선해서 저도 열심히 공유하겠습니다!!

이재엽 프로필 이미지
이재엽2024.11.14

N100이라고 안 적었는 데? 어찌 아셨죠? 쇼핑을 많이 해보셨군요.
나름 백엔드인데, 코드만 없다뿐이지만요. 이거 해보니 너무 좋아요.
오픈소스를 사용할 수 있는 것만으로도 세상을 얻은 기분입니다.
(아직도 못알아먹는 거 투성이지만요)

박정기 프로필 이미지
박정기2024.11.14

@이재엽

미니랩님 같이 N8N 스터디하면 좋을 것 같아요! 저랑 곽은철 님이랑 엄청 열심히 하루에 8시간 이상씩 N8N 워크플로우 만들고 있거든요!!

N100은,, 명기입니다 명기!! 집에 2대 있어요!!

저는 N8N이 세상을 바꿀거라고 생각합니다

박정기 프로필 이미지
박정기2024.11.14

@이재엽

아 재엽님이시구나~ 어쩐지 재엽님 저희 밥한번해요~ 진짜

멍멍_ 프로필 이미지
멍멍_2024.11.14

@이재엽

저도 n100 우분투 CLI버젼으로 올리고 도커, 포테이너 설치해서 n8n, ngixn(ssl)까지 왔습니다(도매인은 무료로^^;)

proxmox도 고려해봤다가(윈도우, 우분투 2개이용) n100으론 효과적이지 못 한것 같아서 포기했는데 위의 2개에 헤놀로지까지 올리셨군요. 성능은 좀 어떤가요? proxmox가 리소스 배분을 잘 해주는 것 같긴한데, 윈도우는 좀 느리다는 이야기도 들어서요

이재엽 프로필 이미지
이재엽2024.11.14

@멍멍_

proxmox로 가시죠.
Nginx proxy manager만 세팅하고,
cloudflare에서 DNS설정했어요.
스크립트로 이런게 한번에 된다는 게 너무 매력적입니다.
아무래도 윈도우를 사용하시려면, 리소스가 많이 필요해서 성능이 떨어지긴 할 겁니다.

박정기 프로필 이미지
박정기2024.11.14

@멍멍_

헐 멍멍님 저 좀 알려주세요 promox는 뭐죠...!? 멍멍님은 못하는게 뭥미?

멍멍_ 프로필 이미지
멍멍_2024.11.14

@박정기

ㅋㅋ 가상화 관리해주는 OS입니다.

Proxmox기반 위에 VM으로 올려서 윈도우나 리눅스를 올려서 독립적인 컨테이너(?)로 돌아가게 하는데, 각각의 컨테이너에 소요되는 리소스(CPU, RAM 등)를 Proxmox가 컨트롤 해줍니다.

저도 그냥 여기저기 기웃기웃 거리다가 걸려들은거라 잘 몰러유

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기