본문으로 건너뛰기

YouTube에서 챗봇까지: 멘토봇 데이터 파이프라인 n8n 자동화 여정

홍진경

2025.09.17

YouTube에서 챗봇까지: 멘토봇 데이터 파이프라인 n8n 자동화 여정 본문 이미지

1. 소개

YouTube 콘텐츠를 기반으로 하는 하이브리드 RAG 멘토 챗봇을 만들기 위해, 자막과 메타데이터를 자동으로 수집하고 이를 Supabase에 저장해 벡터 검색이 가능한 구조로 설계하려고 했습니다.

결론적으로 단순히 자막 정보만 가져오는 자동화가 아니라, 데이터 흐름 전체를 설계하는 중요한 경험이 되었습니다. DifyBot을 성공하고, 데이터 쌓기를 금방(!)하고 멘토 챗봇을 실험하고 싶었는데. n8n 도구를 사용하면서 시행착오가 많았습니다.

2. 진행 방법

사용한 도구

  • n8n: 자동화 워크플로우 설계

  • Apify API, Google API: YouTube 정보 수집용

  • Supabase: 데이터 저장소

3. 워크플로우 흐름 💡

시스템의 다른 부분을 보여주는 다이어그램

- 주요 처리 단계:

  • YouTube URL 입력

  • 자막 수집 → 요약 생성 (Structured Output Parser 사용)

  • 메타데이터 수집 → 제목, 채널정보, 날짜 등

  • 두 데이터 Merge 후 JSON 구조 정제

  • Supabase에 content, summary, tags 등 저장

다양한 유형의 비디오를 보여주는 YouTube 앱의 스크린 샷
여러 다른 항목이있는 검은 색 화면의 스크린 샷


4. 시행착오 기록

  • 문제1) n8n 버전이 YouTube transcript 커스텀노드 미지원

    • Apify API의 scraper 제공 기능 차이

      • youtube scraper : 메타데이터

      • youtube transcript scraper : 자막 전용

    • Google API 로는 metadata, transcript scraper로는 자막 수집

  • 문제 2) n8n에서 merge node 와 json 구조화 이슈

    • 단순 append는 구조 정리를 안 해주기 때문에 code 노드로 JSON 정제 작업 필요

    • n8n 버전이 combine 연관 옵션을 미지원

  • 문제 3) 데이터가 쪼개져서 기록 됨

    • 개행문자를 무시하고 줄바꿈 합치기 (join) 하는 작업이 필요

    • summary 버전 만들 때 structured output parser 노드 사용함

    • 자막 전체 텍스트 확보 후 → 요약 생성 → Supabase에 저장

    한국어 화면의 스크린 샷

  • 문제 4) 벡터 저장 문제

    • Supabase Vector Store와 연결을 시도했으나, embedding, metadata 필드 매핑 불완전

    • n8n에서 다른 노드 활용 사용법

5. RAG 연동을 위한 고민

항목

현황

Supabase 저장

완료

챗봇 검색을 위한 Chunking

n8n or Python 예정

Embedding 및 Vector 저장

Supabase Vector Store 연결 실패

→ 다른 수단 전환 예정

DifyBot 에서 Supabase 검색

Dify API 활용 미정

6. 결과와 배운 점 😊

  • 자동화란 도구 연결이 아니라, 서비스 흐름 설계다.

  • 구현보다 데이터 흐름 기획이 선행되어야 시행착오가 줄어든다.

  • Chunking, Embedding, 저장 → 검색까지 흐름을 고려한 스키마가 중요

  • 하나의 도구에 의존하기보단, 역할 분담 구조가 효율적이다.

  • 메신저 챗봇R 기능 최소화 → 백엔드 중심 구조로 개발 운영 (API)

도움 받은 글 (옵션)


자동화는 결국 작은 연결의 반복 💡

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

복받어김현우 프로필 이미지

진경님 n8n workflow 너무 예쁘다고 생각하는데

저는 아무래도 (직업)병처럼 (AI자동화)병에 걸린 거 같아요🤣

일단 workflow에서 주는 진경님의 인사이트가 너무 좋구요👍👍👍👍👍

유튜브 스크립트 확보 모듈 + 임베딩 벡터 및 청킹 모듈 + 카톡 응답 모듈을 나눠서 생각하고 🧩

각각을 완성하여 합친다 생각하면 접근이 용이할 거 같아요!

기대가 됩니다! 화이팅!!👏👏👏👏👏

글로우제이 프로필 이미지
글로우제이2025.09.18

서비스 흐름 설계, 키워드 너무 좋네요! ㅎㅎ 저도 n8n 배우고 싶은데 아직 접근을 못하고 있어요 ㅠㅠ~~ 모각에서 만나면 진경님 제가 쫒아다닐지도 몰라요! 🤣

진여진 프로필 이미지
진여진2025.09.18

진경님은 진짜 다양하게 잘하시는 것 같아요

데이터를 쪼개고 담는 과정에서

local DB 로 할 수 있는 방법이 따로 있는지 궁금하네요 🤔

어른아이J 프로필 이미지
어른아이J2025.09.18

우와 n8n은 정말 활용할 수 있는 노드가 많이 있네요~배워보고 싶은데,,계속 생각만 하고 있는 1인입니다.

이번 사례에서 특히 "자동화란 도구 연결이 아니라, 서비스 흐름 설계다." 이 말씀이 와 닿네요~

데이터 연동이 그만큼 중요하단 말씀이겠죠?ㅎㅎ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기