클로드코드로 틱톡 비디오 크롤링 & 스크립트 배리에이션 시도 | 대실패!

소개

시도하고자 했던 것과 그 이유를 알려주세요.

틱톡 영상을 분석해 AI가 콘텐츠 제작을 자동화하는 실험을 해보았습니다. 핵심 목표는:

틱톡 비디오의 메타데이터 및 조회수 같은 지표를 크롤링하고

이 데이터를 기반으로 유사한 스크립트 베리에이션을 AI가 생성하도록 하는 것

즉, "잘 나가는 틱톡 콘텐츠를 분석 → 비슷한 스타일로 자동 생성"하는 전체 워크플로우를 자동화해보고 싶었어요.

진행 방법

🔧 사용한 도구 및 구성

Claude Code Interpreter: 초기 자동화 실험에 사용

서브에이전트 2개 구성: 역할을 분리해 하나는 데이터 수집, 하나는 스크립트 생성 담당

Claude 가 시도한 방식들: Puppeteer, HTTP 직접 요청, WebFetch, 정규식 기반 HTML 파싱..

🕵️‍♂️ 시도한 방식들

  • 크롤링 서브 에이전트 + 스크립트용 서브 에이전트를 분리해서 생성했어요.

  • 크롤링 서브 에이전트 값을 받아서 스크립트 에이전트가 동작하는 것이라, 우선 크롤링 에이전트 동작 구현에 집중했습니다.

  • 여러 시도하면서 세션이 만료된 것들이 N개라 코드를 따로 따진 못했는데, 결과적으로 클로드 코드가 시도한 아래의 방식들이 모두 실패했어요.

    • Puppeteer 기반 자동화 ❌

      const puppeteer = require('puppeteer');

      // 브라우저 자동화로 DOM 파싱 시도

      결과: npm 설치 실패 (구글 드라이브 경로 문제)

    • HTTP 직접 요청 ❌

      curl "https://www.tiktok.com/@kimmythequeen/video/7545897443909586189"

      결과: 봇 탐지로 일반 랜딩 페이지만 반환

    • WebFetch 도구 사용 ❌

      WebFetch(url, "Extract video metadata")

      결과: 사이트 설정 JSON만 받고 실제 비디오 데이터 없음

    • TikTok 크롤러 전용 에이전트 ❌

      Task(subagent_type: "tiktok-metadata-crawler")

      결과: 모든 메타데이터 필드가 null 반환

    • 정규식 기반 HTML 파싱 ⚠️

      // HTML에서 패턴 매칭으로 데이터 추출 시도

      const likesMatch = html.match(/(\d+\.?\d*[KM]?)\s*likes?/i);

      결과: 제한적 성공 (실제 HTML 필요)

    • 팀원들과 같이 살펴보고 / 사용이 필요해 로컬이 아닌 공유드라이브에 플젝을 만들었는데 여러모로 불안정하고 오류가 많아 다른 번에 시도할 땐 그냥 로컬에서 진행해보려 합니다ㅠ

    • 다만 여기까지 시도하고 나서는 그냥 이미 크롤링이 가능한 애피파이를 활용하는게 훨씬 더 임팩트가 있겠단 판단이라, 굳이 다시 로컬로 옮겨서 시도를 반복하진 않았어요.

결과와 배운 점

원하는 결과는 못 얻었지만, 그래도 요 시도하면서 지피티랑 prd도 만들어보고, 클로드코드랑은 서브에이전트도 만들어서 대략 아 - 이런 거구나! 하는 감은 잡아본 것 같아요.

오늘 모각에서 유사한 자동화를 n8n으로 구현하셨단 사례를 공유 받아 n8n으로 다시 시도해보려 합니다!

1
2개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요