Firecrawl로 제품 정보를 긁어와 Notion에 자동 기록해보기

소개

TSI 공식 웹사이트(https://tsi.com/products)에 있는 제품 정보를 자동으로 정리해서 마케팅 자료로 활용하고 싶었어요. 그래서 웹에서 제품 정보를 추출한 뒤, Notion 데이터베이스에 정리하는 워크플로우를 시도해봤습니다.

진행 방법

🛠 사용한 도구

  • Firecrawl MCP: 웹사이트의 제품 정보를 긁어오기 위해 사용

  • Notion API (MCP 연결): 수집한 데이터를 Notion DB에 자동으로 기록

  • Cursor AI: 워크플로우 실험 및 자동화 조정에 활용

🎯 수집 대상 데이터

  • 제품명

  • 모델명

  • 제품 설명

  • 제품 이미지

🧪 시도 내용

처음에는 Firecrawl MCP를 통해 한 번에 많은 정보를 요청했는데, 일부 필드가 누락되었어요. 특히 Notion의 속성값을 무시한 채 텍스트만 밀어넣는 문제가 있었죠.

그래서 프롬프트에 다음처럼 명확히 요구사항을 넣었어요:

TSI 제품 페이지에서 제품명, 모델명, 설명, 이미지 URL을 각각의 Notion 속성값에 맞춰 채워주세요. 각 속성의 이름은 다음과 같습니다:
- 제품명: Name
- 모델명: Model
- 설명: Description
- 이미지: Image URL

이렇게 속성값을 명시하자, Firecrawl이 정확하게 데이터를 넣어주었습니다.

다양한 유형의 장비가 페이지에 표시됩니다

사이트의 이미지입니다, 상세페이지에 들어가지 않으면 자세한 정보가 나오지 않아 firecrawl이 필요해집니다.

결과적으로 아래 이미지처럼 이미지 url따로 모델명 따로 데이터가 나누어져 입력됬네요, 이 부분은 개선을 해야할 것 같습니다.

TSS Korean 웹 사이트의 스크린 샷
TS 제품 환경 광고 모니터
tsi tsi tsi tsi tsi tsi t
한국 텍스트 편집기의 스크린 샷

결과와 배운 점

😅 시행착오

  • 처음에는 Notion 속성 이름을 고려하지 않고 MCP 프롬프트를 작성해서, Notion DB에 데이터가 누락되거나 잘못 들어갔네요.

  • MCP에 너무 많은 데이터를 한꺼번에 요청하면, 일부 누락이 생기기도 했습니다.

✅ 배운 점

  • Notion 속성값은 반드시 명시해야 한다!

  • 데이터 수집 요구는 작고 구체적으로 나누자!

🔜 다음에 해보고 싶은 것

  • Zapier나 Make를 통한 자동화도 비교 실험해보기

  • 이미지 데이터를 바로 Notion에 업로드하는 방법도 테스트 예정입니다.

  • 좀 더 다듬어서 편리한 AI agent를 만들어보고 싶네요.

    위딘_Ryon 님과 함께 진행했습니다! 큰 도움을 주신 타이칸님, 개발자 F님, 댕댕이 멍멍님 모두 감사합니다!

1

👉 이 게시글도 읽어보세요