대본 자동화를 위해 데이터 수집부터 시작한 비개발자의 인스타 크롤링 구축기 w.HERMES

인스타그램 크롤링 자동화의 시작

📝 한줄 요약

비개발자가 헤르메스와 Claude Code를 활용해 일본향 한국여행 인스타그램 릴스를 매일 자동 수집하고, 텔레그램으로 브리핑 받는 시스템을 구축한 이야기입니다. 데이터 수집부터 자동화까지 하루 만에 완성했어요.

바쁘시면 이것만 읽어도 돼요:

• 사용한 도구: 헤르메스, Claude Code, instagrapi, Playwright, 구글시트, 텔레그램 봇

• 핵심 해결 방법: 보안상 위험이 크지 않은 무료 API는 그냥 키만 던져서 AI가 알아서 처리하게 하기

• 결과: 매일 3시 자동 수집, 구글시트 자동 저장 (브리핑은 첫날이라 검증 중)

• 확장성: 앞으로 트렌드 분석 → 원리 학습 → 대본 자동 생성까지 연결할 예정

자동화가 필요한 이유

최근 인스타그램 채널을 함께 운영하시는 분이 바빠지면서, 릴스 데이터를 제대로 수집하고 관리할 시간이 부족해졌어요. 고성과 릴스의 대본과 훅 캡션을 학습자료로 활용하고 싶었지만, 수동으로 하나씩 검색하고 저장하는 작업에 너무 많은 시간과 노력이 들어갔어요.

일본향 한국여행 컨텐츠라는 특성상, 매일 새로운 릴스가 쏟아지고 트렌드도 빠르게 바뀌기 때문에 수동으로는 따라갈 수 없는 상황이었어요. 그래서 자동화의 필요성을 느끼고 데이터 수집부터 시작하게 됐습니다.

사용한 도구와 과정

🛠️ 사용한 도구

• 헤르메스: AI 페어 프로그래밍 파트너 — cronjob 설정, 텔레그램 연동, 구글시트 연동, write-post 스킬 포팅

• Claude Code: 복잡한 코드 작성, 버그 패치, 스크립트 생성

• instagrapi: Instagram API 클라이언트 — 릴스 데이터 수집 (헤르메스가 자동으로 리서치해서 적용)

• Playwright: 브라우저 자동화 — instagrapi의 버그를 보완하기 위해 추가 사용

• 구글시트: 수집된 데이터 저장 (gspread로 연동)

• 텔레그램 봇: 매일 브리핑 자동 전송

• write-post 스킬: Claude Code에서 사용하던 DEVLOG 생성 + 게시글 작성 워크플로우를 헤르메스에 포팅해서 헤르메스에서도 동일하게 사용 가능

릴스 데이터 수집 자동화

처음에는 수동으로 릴스 링크를 하나씩 저장하는 작업부터 시작했어요. 하지만 매일 새로운 릴스가 계속 올라오고, 좋아요 수를 하나씩 확인하면서 필터링하는 노가다가 계속되니까 빨리 자동화해야겠다고 생각했어요.

APIFY라는 크롤링 플랫폼도 알게 됐지만, 무료 사용량이 5달러밖에 바로 토큰이 다 소진돼서 본 플로우에 포함하지는 않았습니다.

처음 요청한 내용

"일본향 한국여행 인스타 릴스 하루에 한번 자동으로 크롤링하고 싶어

대본과 훅 캡션을 학습자료로 쓸거야"

헤르메스가 자동으로 적합한 스킬을 리서치해서 instagrapi를 적용해줬어요. collector.py 라는 스크립트를 만들어줬고, instagrapi로 인스타그램에 접속해서 특정 키워드로 검색된 릴스를 수집하고, 좋아요 100개 이상인 것만 필터링해서 구글시트에 저장하는 거죠.

하지만 첫 실행에서 버그가 발생했어요. instagrapi 내부 호출이 첫 페이지만 반환하고 멈추는 문제였어요. Claude Code의 도움을 받아 Playwright로 전환했고 결국 안정적인 수집이 가능해졌어요.

가장 어려웠던 부분은 구글시트 연동이었어요. 처음엔 OAuth 인증부터 서비스 계정까지 여러 방법을 시도했고, 텔레그램 봇도 토큰 설정부터 메시지 전송까지 몇 번이나 시도했어요.

보안상 위험이 크지 않은 무료 API는 그냥 키만 던져서 AI가 알아서 처리하게 하는 게 더 낫다는 깨달음도 이때 얻었어요. 디테일한 설정 방법을 하나씩 알려주느니, 그냥 API 키를 빨리 제공하고 자동으로 설정하게 하는 게 훨씬 빠르더라고요.

텔레그램 알림 자동화

수집만 자동으로 되는 게 아니라, 매일 아침 어떤 릴스가 모였는지 한눈에 보고 싶었어요. 그래서 구글시트에 수집된 데이터를 읽어서 좋아요 TOP 5, 검색 키워드별 분포, 채널별 수집량 등을 텔레그램으로 자동 전송하는 브리핑 시스템도 만들었어요.

텔레그램 브리핑 요청

"URL도 같이 주도록 수정해줘. 그리고 스크래핑은 매일 오전 3시에 돌아가도록

되어있고, 그 결과를 브리핑하는건 매일 오전 8시에 텔레그램으로 보내줘"

크론잡을 만든 게 첫날이라 아직 실제로 브리핑이 자동으로 도착한 건 아니지만, 검증을 위해 헤르메스와 꽤 여러 번 씨름을 했어요. 그냥 API 키만 던져도 되는 거지만, 거기까지 도달하는 데 너무 오래 걸리더라고요. 다음부터는 텔레그램 봇 만들 때 빠르게 BotFather한테 봇 API 받는 방법도 고려해볼 예정이에요.

이제 매일 아침 8시가 되면 전날 수집된 릴스 상위 5개와 통계가 텔레그램으로 자동 전달될 거예요. 좋아요가 24,000개 넘는 인기 릴스를 발견했을 때는 뭔가 성과가 나온 기분이 들었어요.

중복 수집 방지

처음엔 매일 수집할 때 전날 이미 수집한 릴스가 다시 수집되는 문제가 있었어요. 그래서 수집된 릴스의 고유 ID(pk)를 별도의 탭에 저장해서 중복되면 스킵하는 로직도 추가했어요. 날짜별 탭과 중복 방지 탭을 자동으로 생성하도록 설정했어요.

결과와 배운 점

✅ 결과 (After)

Before vs After

수집된 데이터 예시

수집 첫 날(2026-05-24)만 해도 총 NNN개의 신규 릴스가 수집됐어요.
구체적인 내용은 가렸습니다..!

좋아요가 2만 4천 개 넘는 영상도 자동으로 발견했으니, 이런 고성과 콘텐츠를 데이터로 쌓아서 대본 자동화에 활용할 수 있게 됐어요.

AI 활용 팁과 주의사항

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 보안상 위험이 크지 않은 무료 API는 그냥 키만 던져서 AI가 알아서 처리하게 하라: 구글시트나 텔레그램 같은 외부 서비스 연동할 때, 디테일한 설정 방법을 알려주는대로 하나씩 따라가느니, 그냥 API 키를 빨리 제공하고 자동으로 설정하게 하는 게 훨씬 빠르다.
   그래서 에이전틱 AI사용하는 거잖아요.

2. cronjob으로 반복 작업은 완전 자동화: 매일 아침 브리핑을 자동으로 받으니 확인하는 데 아예 신경 쓸 필요가 없어요. 헤르메스는 특히 이 작업에 강하다고 하죠.

3. 중복 방지는 처음부터 넣어두는 게 좋다: 나중에 데이터가 쌓이면 중복 확인이 어려우니 처음부터 pk(릴스영상고유번호)로 체크하는 로직을 넣어두는 게 좋아요.

이렇게 하면 안 돼요

1. OAuth 인증 과정을 너무 복잡하게 생각하지 마라: 처음에 구글 OAuth 설정하느라 시간을 많이 썼는데, 그냥 서비스 계정으로 빠르게 처리하는 방법도 고려해볼 수 있었어요.

2. API 호출 제한을 미리 확인하지 않으면 나중에 막힌다: instagrapi도 그렇고 구글시트도 호출 제한이 있으니 대량 수집할 경우 미리 확인해두는 게 좋아요.

3. 외부 API 무료 사용량은 미리 계산하라: APIFY처럼 무료 크레딧이 적으면 금방 소진되니, 본 프로젝트에 도입할지 미리 검토하는 게 좋아요.

다른 플랫폼에의 적용 가능성

🌍 다른 업무에 적용한다면?

이 프로세스는 인스타그램 릴스 뿐 아니라, 유튜브 쇼츠, 틱톡 등 짧은 영상 플랫폼에도 똑같이 적용할 수 있을 것 같아요. 영상 댓글이나 해시태그를 수집해서 트렌드를 파악하는 작업이 아니라면, 데이터 수집 파이프라인 자체는 재사용 가능할 거예요.

향후 계획

🚀 앞으로의 계획

현재는 데이터 수집과 브리핑 자동화까지만 완성한 상태예요. 앞으로 추가로 진행할 예정인 작업이에요:

1. 트렌드 분석 리포트 자동화: 구글시트에 쌓인 데이터를 기반으로 일간/주간 트렌드를 자동으로 분석하고, 어떤 주제나 해시태그가 인기인지 파악하는 시스템

2. 대본 자동 생성 에이전트: 수집된 고성과 릴스의 대본과 캡션을 학습 데이터로 활용해서, 비슷한 주제의 릴스 대본을 자동으로 생성하는 시스템 (Claude Code로 별도 개발 중)

3. 헤르메스 + Claude Code 연동: 두 도구를 같이 활용해서 워크플로우를 통합하고, 필요에 따라 적절한 도구로 작업을 분산시키는 구조