n8n 스터디를 위해 Agent 활용법 -- 1) n8n youtube 수집하기

소개

15기 n8n 스터디를 준비하면서 스터디원들에게 도움 될 수 있는 무엇인가를 만들기로 결심하였습니다.
n8n 는 AI Agent 만들기 위한 최적의 Tool 이지만, 반대로 Tool 이다 보니 초기 진입장벽이 존재합니다. 아래 세가지 사항을 준비하여 스터디원 상황에 맞게 가이드 줄 수 있으면 초기 진입장벽이 낮아질 수 있겠다는 생각이 들었습니다.

1) n8n workflow 제작 관련 youtube 수집하여, 카테고리 분류 및 추천
2) Crendential 설정 관련 블로그, 사이트 글 수집하여 태그 붙여 두기
3) n8n workflows 수집하여 template 형태로 제공하기

2주차 스터디 에서는 "n8n workflow 제작 관련 youtube 수집하여 카테고리 분류" 를 진행 하였습니다.

진행 방법

목적은 youtube 의 1) 자막을 추출하여 이를 2) Agent 노드로 요약 및 분류 하고, 3) firebase 에 저장 하는 것입니다.

아래는 최종 결과 wokflow 입니다.

기계 학습 시스템의 프로세스를 보여주는 다이어그램

1. 자막 추출 하기

n8n 에서는 youtube transcript node 가 존재하였는데, 현재에는 미지원으로 변경된 상태입니다. 어쩔 수 없이 사설(?) API 를 사용하기로 하였습니다.

먼저, n8n 검색어로 youtube 리스트를 추출합니다 (YouTube Scraper) .
https://console.apify.com/actors/h7sDV53CddomktSi5/input

실제 n8n 과 연동하기 전에 APIFY 에서 제대로 추출 가능한지 테스트를 해볼 수 있습니다. 30개 영상 검색 시 $0.05 정도 소요 되는데, Free Tier 도 $5 까지 사용할 수 있습니다.


추출된 youtube URL 은 APIFY 의 Youtube Transcripts 로 자막 추출을 진행합니다. https://console.apify.com/actors/1s7eXiaukVuOr4Ueg/input

한 편당 $0.0075 정도 소용 되므로 추가 결제 없이 100 ~ 200 영상을 수집하기 충분합니다.

2. Agent 노드로 요약하기

분류가 목적이므로, difficulty, expectedNodes 를 구분에 달라고 요청 합니다.

한국어 웹 사이트의 스크린 샷

DB 에 저장해야 하기 때문에 structured output 으로 형태 통일 되도록 합니다.

3. Firebaes 에 저장

DB 는 firebase 를 사용하였으며, 아래와 같은 schema 로 저장됩니다.

코드 편집기의 스크린 샷

결과와 배운 점

아래와 같이 n8n 관련 영상을 200 개 이상의 수집할 수 있었고, 난이도 별로 필터링을 사용하여 스터디원의 수준에 맞는 영상을 가이드 할 수 있게 되었습니다.

글 본문에는 영상 요약, 예상 노드, 진행시 유의 사항 등이 작성되어 있기 때문에 이에 맞는 검색도 가능하게 되었습니다.

상세 페이지는 아래 와 같습니다. 현재 페이지는 prototype 이므로 디자인이 추가되어 있지 않지만, 추후 스터디원들이 한눈에 확인 가능하도록 변경될 예정 입니다.

15기 n8n 에이전트 스터디가 종료되기 전에 현재 개발 중인 Web 서비스를 오픈하는 것이 목표 입니다.

3주 ~ 4주 차에는 아래 두가지를 마무리 할 예정이며,
2) Crendential 설정 관련 블로그, 사이트 글 수집하여 태그 붙여 두기
3) n8n workflows 수집하여 template 형태로 제공하기

이와 같은 데이터가 누적된다면, 데이터를 RAG 로 사용하여

스터디원이 원하는 AI Agent 를 만드는데 도움을 줄 수 있는 "AI Agent 추천 AI Agent 만들기" 를 진행해 볼 예정입니다.

5

👉 이 게시글도 읽어보세요