본문으로 건너뛰기

Firecrawl 어디까지 될까? 팀 테스트로 본 웹 데이터 수집의 한계

Firecrawl로 경쟁사 상품과 가격을 모으려면, 어떤 사이트에서 어떤 방식으로 가져오는지부터 나눠야 해요. 지피터스 팀 테스트에서는 쿠팡 검색 결과와 미국 부동산 사이트 Zillow의 데이터가 나왔지만, 인스타그램은 지원하지 않는다는 응답을 받았습니다.

팀원이 공유한 사례를 바탕으로, 마케터가 조사 업무에 붙이기 전에 확인할 것과 작게 시작하는 방법을 짚어볼게요.

쿠팡부터 인스타그램까지
팀 테스트에서 나온 결과

2026년 10월 12일, 지피터스의 한 팀원이 Firecrawl로 여러 사이트를 테스트한 결과를 팀에 공유했어요. 아래는 팀원의 실행 보고입니다. 제가 같은 조건으로 재실행한 결과는 아니에요.

  • 쿠팡 검색: 상품과 가격 정보가 나왔다는 보고였어요.
  • Zillow: 미국 부동산 매물과 가격을 가져왔다고 합니다.
  • 네이버 스마트스토어: 기본 설정에서는 차단 화면이 나왔고, 설정을 바꾼 실행에서는 상품과 가격이 나왔다고 해요.
  • 인스타그램: Firecrawl에서 지원하지 않는다는 응답을 받았습니다.
  • LinkedIn: 외부 유료 데이터 제공업체 연결이 필요하다는 안내를 받았다고 해요.

이 결과를 모든 상품이나 계정에 적용하면 곤란합니다. 보고에는 전체 요청문, 실행 로그, 성공한 페이지 수가 없어요. 쿠팡에서 상품 정보가 나왔다는 사실만으로 리뷰까지 수집된다고 보기도 어렵습니다.

스마트스토어처럼 실행 조건에 따라 결과가 달라진 사례는 특히 반복 확인이 필요해요. 업무에 넣을 때는 대상 URL과 수집 시점, 요청한 항목을 함께 남겨야 합니다. 같은 조건에서 다시 쓸 만한 결과가 나오는지가 다음 판단 기준이에요.

Firecrawl Agent와
Scrape는 쓰임이 달라요

Firecrawl은 웹페이지에서 내용을 가져와 텍스트나 정해진 항목의 데이터로 바꾸는 도구입니다. 그중 주소를 이미 아는지에 따라 선택이 달라져요.

  • Scrape: 지정한 웹페이지 하나에서 내용을 가져옵니다. 상품 전용 product 형식과 항목을 지정하는 JSON 형식이 있어요.
  • Agent: 필요한 정보를 문장으로 설명하면 웹에서 검색하고 이동하며 데이터를 모읍니다. 시작할 URL은 선택 사항이에요.

경쟁사 요금 안내 주소를 알고 있다면 Scrape부터 검토하면 됩니다. 어느 회사가 해당 제품을 파는지부터 찾아야 한다면 Agent가 맞는 출발점이에요. 공식 문서도 이미 아는 단일 URL에는 Scrape의 JSON 방식이 더 저렴하고, 요청에 바로 결과를 돌려주는 방식이라고 안내합니다. Agent 공식 문서, Scrape 공식 문서

하나 더, 앞의 팀 테스트를 Agent의 성능표로 읽으면 안 됩니다. 보고에 나온 설정은 공식 CLI 문서에서 Scrape 옵션으로 설명하는 항목과 겹쳐요. 전체 명령과 로그가 없어서 각 테스트가 어떤 API를 호출했는지는 확정하지 못했습니다. CLI 공식 문서

Agent의 최초 공식 소개는 2025년 12월 18일입니다. 새 출시 소식으로 보기에는 시간이 지났어요. Agent 출시 발표

경쟁사 조사용 요청은
이 정도로 좁혀보세요

처음부터 시장 전체를 조사하려고 하면 결과를 검토하기도 막막해져요. 연습용으로는 상품 3개와 비교 항목 5개 정도를 정해보세요. 권장하는 시작 범위이지, Firecrawl의 기능 제한은 아닙니다.

예를 들어 판매 페이지에서 경쟁 상품을 비교한다면 상품명, 표시 가격, 통화, 가격 적용 조건, 원문 URL을 받는 식이에요. 여기에 수집한 시점은 별도로 기록합니다. 할인 전 가격과 회원 할인가가 섞이면 숫자가 제대로 나와도 비교 결과는 틀릴 수 있거든요.

상품 페이지라면 Scrape의 product 형식부터 검토해보세요. 상품명과 옵션별 가격, 통화 등을 정해진 구조로 가져옵니다. 회원 할인 조건처럼 추가 항목이 필요하면 JSON 형식에 요청문을 전달하면 돼요. JSON은 항목 이름과 값을 일정한 형태로 주고받는 형식입니다. 상품 추출 공식 문서

이 상품 페이지에 표시된 상품명, 가격, 통화, 가격 적용 조건, 원문 URL을 추출해줘. 회원 할인이나 쿠폰 적용 가격은 일반 판매가와 구분해줘. 페이지에서 확인되지 않는 값은 추정하지 말고 null로 남겨줘.

상품을 파는 회사부터 찾아야 한다면 로그인 후 Agent Playground에서 작은 범위로 요청해볼 수 있어요. 코드 없이 테스트하는 화면입니다. 다음 요청문을 바꿔 써보세요.

국내에서 판매하는 무향 핸드크림 3개를 찾아줘. 브랜드 공식 판매 페이지를 우선하고, 상품명, 표시 가격, 용량, 가격 적용 조건, 원문 URL을 정리해줘. 공개된 페이지에 없는 값은 추정하지 말고 비워줘.

두 요청문 모두 실행 결과를 보장하는 예시는 아닙니다. 실제로 가져온 값이 원문과 일치하는지 대조하는 과정까지가 한 번의 테스트예요. 값을 비우라고 적어도 추정이 완전히 사라지는 것은 아니므로, 빈칸뿐 아니라 채워진 값도 살펴봐야 합니다.

결과가 나왔어도
자동화 전에 확인할 것

샘플 3개를 받았다면 원문도 3개 모두 열어보세요. 상품 옵션이 바뀌지 않았는지, 묶음 상품의 가격을 단품 가격으로 옮기지 않았는지부터 봅니다. 단위가 다르면 100mL처럼 비교할 기준을 맞추는 작업도 필요해요.

이때 성공 여부와 데이터 품질을 따로 기록하면 좋습니다. 결과가 도착했다는 기록 옆에, 필수 항목이 채워졌는지와 원문이 맞는지를 남기는 거예요. 응답이 성공으로 끝나도 정작 필요한 가격이 비어 있으면 가격 조사에는 쓸 수 없습니다.

반복 실행을 붙일 때는 값이 없는 경우의 처리도 정해두세요. 빈 가격을 0원으로 저장하면 다음 보고서에서 갑자기 가격이 내려간 상품으로 보일 수 있어요. 이전 값과 새 값을 구분해 보관하고, 수집 실패는 별도 상태로 남기는 편이 안전합니다.

비용도 샘플 단계에서 기록해두면 됩니다. Agent는 작업에 따라 크레딧 사용량이 달라지고, API의 maxCredits로 한도를 지정할 수 있어요. 다만 한도에 도달해 멈춘 작업의 일부 결과는 완성된 데이터와 구분해야 합니다. Agent 비용과 중단 처리

데이터 제공업체 연결은
별도로 확인하세요

LinkedIn에 대한 팀 보고를 보고, 외부 업체만 연결하면 원하는 정보가 전부 나온다고 받아들이기 쉬워요. 실제로는 그 업체가 제공하는 데이터 범위부터 확인해야 합니다. 사람 정보, 회사 정보, 게시물은 서로 다른 요청이에요.

Firecrawl 공식 문서에는 Agent가 외부 데이터 제공업체를 사용하는 기능이 설명돼 있습니다. API에서는 연결 설정이 필요하고, 제공업체의 데이터 이용 약관에 동의해야 호출되는 경우도 있어요. 비용이 드는 호출 전에 승인을 받도록 구성하는 기능도 있습니다. 외부 데이터 제공업체 연결

인스타그램에서 지원 불가 응답을 받은 이유까지 이번 보고로 알 수는 없습니다. 필요한 정보가 지원되지 않는다면 해당 사이트의 공식 API나 허용된 내보내기 기능부터 확인하세요. 수집 도구의 응답과 별개로, 가져온 데이터를 어디에 사용할지도 대상 사이트의 조건에 맞춰야 합니다.

조사 업무에 붙이기 전에

경쟁사 자료를 그대로 보고서에 넣어도 될까요?

가져온 사실과 그 사실에 대한 해석을 구분해두세요. 예를 들어 요금 안내에 특정 기능이 없다고 해서 그 회사가 기능을 제공하지 않는다고 단정하면 안 됩니다. 보고서에는 확인한 URL과 시점을 남기고, 확인되지 않은 항목은 미확인으로 표시하면 돼요.

조사를 반복하면 지난 결과는 지워도 될까요?

가격이나 제품 구성이 바뀌는 과정을 보려면 지난 결과가 필요합니다. 같은 상품을 구분할 주소나 식별자를 정하고, 조사 날짜별로 보관해보세요. 페이지가 사라졌을 때도 이전 관찰과 이번 수집 실패를 구분할 수 있어요.

Firecrawl을 업무에 넣을 기준은, 필요한 항목을 원문과 대조할 수 있고 다음 실행의 실패까지 알아챌 수 있는지입니다.

글쓴이 강지인. AI 커뮤니티 지피터스(GPTers)에서 마케팅을 합니다. 이번 글은 팀원이 공유한 Firecrawl 테스트와 공식 문서를 바탕으로 조사 업무의 확인 기준을 정리했어요.


확인일 2026-10-12. 출처: Agent 최초 소개(Firecrawl, 2025-12-18). Agent와 Scrape의 용도, 외부 데이터 제공업체 연결, 비용 관리, CLI 옵션(Firecrawl 공식 문서, 2026-10-12 확인). 사이트별 실행 결과는 같은 날 지피터스 팀원이 공유한 사례이며, 전체 로그를 확인한 재현 시험은 아닙니다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

함께 읽어보세요

AI 소식 전체 보기