소개
레딧에 뉴스 게시글의 정보를 가져오고 상세페이지 내용을 크롤링하여 openai를 통한 요약 정보를 저장
진행 방법
어떤 도구를 사용했고, 어떻게 활용하셨나요?
n8n 사용
16기 스터디장 세현, 인준님이 운영하는 NextNode 사이트에 워크플로우를 정의하고 모르는 부분은 도움을 받으며 진행했습니다.
최종 결과 워크플로우
해당 방법으로 진행할 경우 중복체크는 되지 않 으나 구글 시트에 레딧에서 가져온 게시글의 데이터가 잘 저장이 되는 것을 확인했습니다.
고도화 시킨다면 구글시트가 아닌 Supabase로 데이터를 저장해볼 생각입니다.
결과와 배운 점
n8n에서 대략 어떤 노드들이 있는지 파악
custom node의 존재 여부
외부 서비스 node들을 사용할때는 인증 절차 필요
크롤링에 다양한 방법 - FireCrawl Custom Node 사용, HttpRquest 사용, Open AI Curl API 사용