🐢거북이처럼 n8n 노드 구축 끙끙대며 한땀한땀 시작하기 (feat. AI agent with RAG 처음으로 구현)

소개

머리털나고 처음으로
n8n을 활용한 자동화와 AI Agent(RAG를 장착한) 실제 구현을
해 보고자 시도했습니다.

자동화를 하고 싶은 아이템은 별로 없었지만,
내가 가진 노하우나 방법을 RAG를 이용해 서비스를 만드는 데에는
관심이 많았기 때문에 이를 구현할 수 있는 방법을 계속 눈여겨보다가
n8n을 이용하면 RAG를 장착한 AI agent를 만들 수 있다는 점을
알게 되어 도전해 봄.

목표는 다음과 같았습니다:

• n8n 사용 감 잡기 및 익숙해지기

• AI Agent 구현 첫 경험

• Retrieval-Augmented Generation(RAG) 개념 실습

• Telegram 처음 사용해보기

• Telegram API 연동

진행 방법

n8n docs / ChatGPT / Perplexity / Youtube 영상을 참고하면서
n8n으로 작업 진행!

제일 먼저 가장 중요한 기획!

RAG를 이용해서 내가 만들어 보고 싶은 진짜 프로젝트는 잠시 뒤로 하고
RAG 실전을 겪어보고, 실제 구현이 가능한지?
구현은 어떻게 하면 좋을 지를 판단하기 위해
일단은 RAG 장착한 AI Agent 전반적인 것을 경험해 보는 것에 초점을 맞춤.

그래서 개인사업자, 스타트업, 법인사업자들이
회계 관련 법률을 문의하면 자문을 해 주는 AI agent chatbot을
n8n으로 구현해 보기로 결정함.

기획안을 좀 더 풍성하게 하고, 실현 가능성/실행 가능성 등을 체크하기 위해
chatGPT랑 티키타카로 논의를 진행함!
대화를 나누어보면서 구현 가능성을 확인했고,
대략 어떤 흐름으로 전체 구조를 설계하면 좋을 지에 대해서 감을 잡음.

프론트엔드: Telegram을 사용해 user가 문의를 하고 답을 얻는 형태를 설정

백엔드: n8n을 통해 AI agent를 구축

n8n 설계도

Telegram으로 user가 문의 입력 → n8n에 RAG 장착한 AI agent를 구축하여
AI agent가 문의를 처리 → Telegram으로 user에게 답변 제공

ALT

한국의 다양한 유형의 교통 수단을 보여주는지도

ALT

흐름도를 보여주는 컴퓨터 화면의 스크린 샷

각 노드 하나하나 별로 끙끙대면서 설정하고 test 돌려보고
거의 매번 error가 나서 혼자 궁리하거나 chatGPT에게 문의하면서
또는 관련 영상 찾아보면서 debugging 했습니다.
그러다 보니 만드는데 거의 하루 full로 걸린 것 같습니다.

RAG 장착한 AI agent는 어떻게 만드는지 몰라서
Youtube 영상 내용을 거의 따라하면서 배웠습니다.
거의 복붙 수준이기는 하나,
n8n의 현재 버전에서는 youtube 영상과는 설정이 다른 부분들이 많아서
독학 수준으로 끙끙대면서 연구하고 이해하면서
거북이처럼 하나하나 뜯어가면서 구현했습니다.

그리고 Telegram 입/출력은 제가 생각해서 추가한 기능입니다.

RAG 구성을 위해서 공인회계사법/법인세법/부가가치세법/
상법/소득세법/자본시장과 금융투자업에 관한 법률/
주식회사 등의 외부감사에 관한 법률
총 7개의 법률 문서를 Vector DB에 저장하고 진행했습니다.

ALT

헝겊이있는 AI 요원

• Retrieval Augmented Generation (RAG) :
  문서 검색과 텍스트 생성을 결합한 방법으로,
  관련 문서를 찾아 이를 기반으로
  더 정확하고 정보성 높은 텍스트 응답을 생성

• Embedding : 데이터를 숫자로 변환하는 과정 (벡터 표현으로 바꿈)

  • 문서 data를 쪼개서 Vector DB에 넣는 방법

  • Supabase vs Pinecone

• Vector DB : 머신러닝과 인공지능 응용에서 사용하는
  고차원 벡터를 저장하고 검색하는데 최적화된 데이터베이스

실제로 문서가 어떻게 저장되는지 Supabase DB를 한 번 뜯어봤습니다.

ALT

페이지의 한국어 스크린 샷

ALT

단어 목록을 보여주는 Google 스프레드 시트의 스크린 샷

ALT

콘텐츠의 편집 가치를 보여주는 한국 웹 사이트의 스크린 샷

ALT

컨텐츠 편집 값의 스크린 샷

ALT

콘텐츠 편집을 보여주는 화면의 스크린 샷

위와 같이 위에서부터 잘라 나아가는데,
어느 조항에 있는 내용인지 내용이 유실될 위험을 막기 위해
내용을 약간씩 중복하면서 붙여가면서 저장을 하고,
(사용자가 중복 범위를 지정합니다.)
Vector 숫자로 바꾸어서
기계가 알아듣고 연산할 수 있게 변환해서 저장합니다.
그래서 반도체들이 열심히 Vector 연산을 하게 하는 듯 합니다.

• Top K (상위 K개) : 관련성 점수를 기준으로
  가장 상위에 있는 K개의 결과를 가져오는 것

• Chunking : 큰 문서나 데이터를 더 작은 단위로 쪼개서
  처리와 검색을 쉽게 만드는 과정. 청크 단위로 처리.

• ChatGPT는 기계어를 사람의 언어 입/출력으로 바꾸어주기 위해서
  AI Agent에 Chat model로 들어가야 함

• Chat memory 설정 방법 및 설정 시의 효과

🤗 그외 배운점들

• 노드마다 각종 API 설정

• 노드간에 상호 필요한 Id, message 등의 주요 인자 설정 및 연결

• Telegram 개설 및 사용 방법

• Webhook의 개념과 용도
  ( 박정기 스터디장님이 3주차 때 특강해주셔서 알게 됨)

  • 웹훅은 "자동 배달부" 📬

  • 자동 배달부가 편지가 생길 때마다
    직접 우체국에서 편지를 가져다가 집으로 배달해 줌

  • Trigger 역할을 함

• Code node의 개념과 용도 (3주차 스터디 때 chatting하면서 알게 됨)

  • 사용자 정의 코드를 실행할 수 있는 기능을 제공하는 노드

  • 기본적으로 JavaScript (Node.js 환경)에서 동작하며,
    워크플로우 내에서 복잡한 로직을 처리하거나,
    기존의 노드에서 제공하지 않는 특정 기능을 구현할 수 있도록 해줌

  • API 요청, 데이터 변환, 특정 조건 필터링, 반복 처리 등
    자유도가 매우 높음

  • n8n을 make 등과 비교시, 커스텀 로직 구현이 가능한 강력한 기능을
    제공한다는 점에서 대표적인 장점 중의 하나라고 함

결과

n8n workflow가 성공적으로 돌아갔고,

ALT

흐름도를 보여주는 컴퓨터 화면의 스크린 샷

성공적으로 Telegram을 통한 사용자의 문의 및 답변 생성 완료!

ALT

한국 왓츠앱 스크린샷

ALT

한국어 텍스트가 포함된 페이지의 스크린샷

ALT

한국어 텍스트가 있는 페이지

# 향후 계획
- 회계 관련 법률 자료들이 아니라 회계 기준 자료/문서들을
Vector DB에 넣고 AI agent 연결하면
회계 처리 방법도 알려줄 수 있는 Chatbot을 만들 수 있겠다는 생각이 들었음
따라서 회계 처리 Chatbot도 만들 수 있을 것 같음

# 문제점
- Vector DB에 등록된 문서에 있는 내용인데도
못 찾거나 부정확하게 답변하는 경우들이 있어서
이를 어떻게 fine tuning 할 수 있는지 방법이 궁금해서 더 찾아볼 생각임

ALT

한국에서 두 사람이 나누는 대화 스크린샷

ALT

한국 문자 메시지의 스크린 샷

🤕 실제로는 181조에 있는 내용인데 40조라고 잘못 대답하고 있음.
이런 error들이 간혹 나타나는 경향이 있어서
엄밀한 답이 필요한 서비스의 성격상 큰 문제점이라고 생각됨.
아직 AI의 수준이 덜 발달해서 그런 것인지,
아니면 내가 설계와 설정을 잘 못 한 것인지.... 불명확함.

이렇게 게시글 올린 후로,

박정기 파트너님이 tip을 주신 대로

vector store에 181조가 잘 들어갔는지 확인해 봤습니다.
정확하게 확인한 것 아니나, 181조가 들어간 것은 맞는 것 같았습니다.

다만, 질문 시 어떤 데이터를 검색해서 가져왔는지 확인하는 작업을 계속해서
perplexity 도움 받아가면서 시도해봤으나
제가 개발스러운 아이템과 내용 tracking을 잘 못해서 실패했습니다.
(3시간 정도 try했으나 쳇바퀴만 돌다가 머리 아파서 포기했어요......)

그래도 하나 배운 점은 노드의 왼쪽, 오른쪽을 보면서
어떤 것들이 들어가고 나오는지 눈여겨 봐야 한다는 것과
이것들을 보면서 어떤 값을 넣어야 하는지 감을 잡을 수 있고,
어떤 값이 나왔는지 tracking 가능하다는 점이었습니다.

ALT

여러 언어가있는 컴퓨터 화면의 스크린 샷

질문 1:

ALT

벡터 스토어를 사용한 답변 질문의 스크린 샷

여기서 Limit 값을 어느 정도로 설정하는 것이 좋나요?
가장 관련성이 높다고 판단되는 것을 5개까지 가져와서
그 중에서 골라서 답변을 생성하는 거라고 이해가 되는데
(이 내용도 맞는지 체크 부탁드려요),
7개 정도로 더 늘리는 게 정확한 답변 생성에 도움이 되는 것인지?
오히려 개수를 줄여서 3 정도로 하는 게 더 정확한 답변 생성에 도움이 되는 것인지?

질문 2 : RAG로 설정한 데이터와 아예 관계없는 뜬금 없는 질문 하면 어떻게 되나요?
(갑자기 궁금증이 들어서 뜬금없이 RAG 챗봇에게
Ive에서 최장신 멤버가 누구인지 물어봤습니다.)

ALT

한국 문자 메시지의 스크린 샷

ChatGPT를 연결해 놓았으니 RAG로 저장한 데이터들 관계 없이
ChatGPT 스스로 답변을 하게 되나요?
그러면 이 경우에는 어떻게 설정을 해서
RAG로 설정한 문서 데이터 값으로만 답변을 하게 하나요?

질문 3: RAG로 설정한 문서의 데이터로만 답변하게 할 수 있나요?
관련 내용을 Vector store에 저장한 내용으로는 참조할 수 없을 때는
"아예 모르겠습니다, 내지는 관련 법률로는 답변 불가능합니다."
이런 식으로 답변하게끔 설정할 수 있는 방법이 있나요?
자꾸 ChatGPT 모드로 들어가서 혼자 답변을 생성하는 느낌이 들어서
아예 원천봉쇄할 방법이 있나 궁금합니다.

👉 질문들에 대한 답으로 박정기 스터디장님이 langsmith 등을 언급하셨는데,
좀 더 알아보고 공부하면서 제 실력을 upgrade해야 하겠습니다.

도움 받은 글 (옵션)

RAG기반 AI 챗봇 직접 만들어쓰기. 무제한 확장은 기본, Supabase 활용은 덤!