소개
여러 resource에서 feeding하여 여행정보를 취합해서 자동으로 DB화, email발송까지 구현하는데 실패하고, 우선은 하나라도 제대로 workflow 만들어 성공시키기 목표로 진행
진행 방법
데이터 feeding : Apify (web content crawling) & N8N (Webhook)
자동화 : N8N
데이터 발송 : Google sheet저장, Email발송
ChatGPT, Grok, Claude
내용
여행웹사이트 게시판의 최신 글 & 댓글 내용 가져와 업데이트 된 내용만 정리하여 DB로 저장, 자동 email발송
Tripadvisor Travel Forum 게시판 새글 & 댓글 내용 crawling
-Apify 무료사용을 위해 1회 20개 새글로 제한
-크롤링 또는 자동화 요청을 탐지하고 차단에 대처하는 조건값들 테스트 진행
--> 1주일 전 연결 확인 후 재 시도 시 에러 발생으로 Apify & N8N webhook 데이터 확인
webhook 테스트 조건 부터 시도하며 배워나감 : webhook에서 'Listen for test event'상태로 준비해 두고 Apify task 돌리거나 테스트를 위해 만들어 둔 curl 돌려서 데이터가 들어올 수 있도록 해야 함, webhook output에 보이지 않고 execute결과에만 정상적으로 보이기도 해서 여러 번 테스트 진행
webhook & Apify에 설정해 둔 url주소 동일하게 맞추기
Webhook으로 인입된 key값과 Apify 값 달라 HTTP Request 노드 가서 다시 여러 번 테스트 하며 맞춤
결과적으로 전체 사이클이 제대로 돌아가긴 하지만 가져온 contents를 원하는 대로 구성하여 DB화 하고 email발송(HTML로 꾸밈까지)하기에는 아직 남은 단계가 많음
결과와 배운 점
RSS feeding이나 Webhook 모두 한 번 적용되었다고 지속적으로 작동하지 않는 경우가 많아 여러번의 테스트 확인이 필요하며 어떤 사이트냐 어떻게 운영되는지 등에 따라 적용 시 확인사항이 다 다름
Plus사용 중인 ChatGPT를 중심으로 AI활용했으나 답변의 내용을 잘 확인하지 않고 그냥 따라하면 종종 무한 loop로 빠짐.
Grok의 경우 ChatGPT보다 전체 프로세스 및 내용 이해도가 높았으나 답변까지 시간이 소요가 좀 있고, 내용 파악부터 결론까지 너무 길게 설명함. 그래도 삽질을 시키지는 않음.
생각 보다 너무 많은 시간이 걸려 데이터를 받는데 성공. 실제 데이터 가공과 관련해서는 추가예정이며 이후 RSS feeding으로 contents를 여러 군데서 받고 가공하는 것으로 확장하고자 함.
도움 받은 글 (옵션)
N8N 수업 동영상
(내용 입력)
