n8n으로 이커머스 인기 제품 크롤링 + 자동 보고서 & 노션 저장하기

소개

이커머스 사이트에서 인기 제품 정보를 주기적으로 수집해 보고서를 만들고, 아이데이션 회의에 활용하고 싶었어요. 그런데 Selenium 같은 동적 크롤링 도구는 설치도 어렵고 관리도 복잡하죠. 😵‍💫 또한, n8n 에서 puppeteer 모듈을 사용할 수 있지만, 환경설정의 어려움으로 아직 해결하지 못하고 있습니다. (맥북 에어 최신모델의 경우 rosetta 2 설치 및 구성이 필요합니다.)

그래서 n8n의 기본 노드들만 활용해 특정 페이지의 텍스트를 기반으로 제품 정보를 추출하고, DB 저장 + 보고서 생성 + 노션에 자동 저장까지 한 번에 처리해봤습니다! 🛠️📊

진행 방법

아래는 전체 자동화 워크플로우 구성도입니다.

장치의 프로세스를 보여주는 다이어그램

사용자가 폼에 텍스트를 입력하면 브랜드/제품명을 추출해 AI로 분석하고, 이메일과 노션으로 결과를 자동 전송합니다.

이메일 보내는 과정을 보여주는 다이어그램

또한, 분석 리포트는 HTML 형식으로 이메일 전송되고, 요약본은 마크다운 형식으로 Notion에 새 글로 작성됩니다.

🧰 사용 도구

  • n8n

  • Set, Code (데이터 정제)

  • Ai agent

  • Notion (보고서 자동 업로드)

🔁 자동화 흐름 요약

  1. 입력 텍스트 수집

    • n8n의 Form Trigger 노드로 웹사이트에서 복사한 텍스트 입력

  2. 브랜드 + 제품명 추출

    • Code 노드에서 정규식을 활용해 브랜드명과 제품명을 HTML 텍스트에서 추출

  3. AI 분석 요청

    • Google Gemini 기반 AI Agent 노드 사용

    • 각 제품에 대해 주요 성분, 기능, 소비자 반응 분석 요청

  4. HTML 보고서 생성

    • Code2 노드에서 분석된 정보를 HTML 포맷으로 구성

    • 브랜드별 섹션, 스타일 포함 보고서 자동 생성

  5. 보고서 이메일 발송

    • Gmail 노드로 전체 HTML 분석 리포트를 메일로 전송 가능

  6. 요약 보고서 & 노션 업로드

    • AI Agent1: 노션 업로드용 마크다운 요약본 생성

    • Notion 노드: 보고서를 자동으로 Notion 페이지에 저장

💡 포인트

  • ✅ 텍스트 기반 크롤링도 충분히 가능!

  • 🧠 AI 분석 + 요약 자동화로 제품 리서치 시간 대폭 절약

  • 🗂️ 브랜드별 정리된 리포트는 기획서나 회의자료로 바로 활용 가능

  • 📩 Notion, 이메일로 자동 전달까지 자동화

결과와 배운 점

  • 주기적으로 제품 데이터를 수집하고 트렌드 변화 이해

  • 반복적인 작업을 줄여 생산성과 아이디어 품질이 동시에 향상

  • 데이터가 누적되니 분석하기도 수월하고, 자동화된 Notion 보고서는 회의 준비 시간도 줄여줬어요 🙌

  • 이커머스 마케터나 기획자 분들께 꼭 추천드리는 워크플로우예요!

1

👉 이 게시글도 읽어보세요