마케터 주목❗ 경쟁사 광고 소재 크롤링 자동화하기

소개

경쟁사의 광고를 파악하는 것은 중요합니다.
경쟁사가 어떤 상품과 고객군에 집중하는지 파악하여 전략을 세울 수도 있고,
잘 나가는 광고를 레퍼런스할 수도 있기 때문입니다.

따라서 마케터의 중요 업무 중 하나는, 경쟁사들의 광고들을 트래킹하는 것인데요,
'메타 광고 라이브러리'와 같은 광고 조회 페이지에서 일일이 경쟁사를 검색하는 것은
너무 번거롭고 귀찮은 일입니다‼️

이러한 업무를 자동화하고 싶어하는 모 대표님의 개발 외주 요청을 받고,
바로 작업에 착수해 보았습니다.

세 줄 요약:

n8n의 Schedule Trigger에서 시작하여,
Apify의 'Meta (Facebook) Ad Library Scraper - Fast & Reliable' Actor를 통해 광고 소재 스크래핑 후
구글 시트에 현재 게재 중인 광고와 게재 종료된 광고를 구분하여 기록합니다.

메타 광고 라이브러리에서 '사주천궁' 이라는 서비스의 광고를 트래킹하고 싶다고 가정합니다.

'사주천궁'의 광고 검색 페이지 링크를 Apify의 'Meta (Facebook) Ad Library Scraper - Fast & Reliable' Actor에 입력하여 광고 소재를 스크래핑할 수 있습니다.

동시에 구글 시트에 기존에 어떤 광고들이 기록되어 있는지 확인합니다.

이러한 작업을 Schedule Trigger를 통하여 매일 9시에 작동되도록 하면, 아래와 같은 워크플로우로 구성할 수 있습니다.

이렇게 가져온 두 데이터를 비교하여 신규 광고인지, 기존에는 있었지만 새로 스크래핑한 데이터에서는 발견되지 않아 종료된 광고인지 구분합니다.

이후 [게재 중] 시트와 [종료] 시트에 데이터들을 기록합니다.

특히 종료된 광고는 [게재 중] 시트에서 [종료] 시트로 해당 광고 row를 이동시킨 후, [게재 중] 시트에서 값을 삭제하도록 합니다.

짜잔❕

구글 시트에 광고에 사용된 소재(이미지/영상)을 확인할 수 있는 링크와 함께
캡션 내용(텍스트), 랜딩페이지의 링크까지 함께 확인할 수 있습니다.

기존 업무에 기반한 확실한 필요가 있는 자동화였기에 더 높은 동기와 집중을 유지할 수 있었습니다
https request를 통해 스크래핑하는 것보다 Apify와 같은 외부 툴을 사용하면 더 효과적이고 효율적으로 자동화할 수 있습니다. 사용할 수 있는 툴의 개수가 많아질 수록 실력도 증가한다고 생각합니다.
UI/UX와 사용자 편의성을 고도화하여 크몽 등에서 실제로 외주 개발로 판매해보고 싶습니다.