지난 편: 「대본 자동화를 위해 데이터 수집부터 시작한 비개발자의 인스타 크롤링 구축기」의 후속입니다.
> 그때 향후 계획으로 적어둔 "트렌드 분석 리포트 자동화"가 이번 편의 주제입니다.
하려던 것 📝
- 지난번에 릴스를 매일 구글시트에 모으는 "수집"까지 만들었음. 이번엔 그 다음 단계 — 모은 데이터를 분석해서 "이번 주엔 뭘 찍을지" 소재까지 추천받는 트렌드 리서치 시스템을 구축하고자 함
- 욕심내서 전체를 한 번에 하려다 지난번엔 빠듯했기에, 이번엔 "트렌드 리서치"만 별도 폴더로 떼어내 그것만 제대로 끝내고자 함
- 본인 채널은 업로드가 주 1~2개로 적어, 우리 채널 분석보다 비슷한 계정(벤치마크)의 트렌드를 보는 쪽으로 무게중심을 옮기고자 함
- 인스타만 뒤지는 게 아니라, 일본 검색수요·네이버·릴스 자막까지 다중 소스로 리서치하여 "일본 수요↑ × 한국 공급↑" 빈틈 소재를 우선 추천받고자 함
- 와이프가 보기 쉽게 방향성 → 구체 주제 → 근거 게시물이 담긴 주 1회 HTML 리포트로 산출하고자 함
활용한 툴 ⚒️
- 헤르메스: AI 페어 파트너로 설계서 인터뷰, 멀티 에이전트 오케스트레이션, 리서치 방향 설계, 품질 가드(하네스 훅) 설정에 사용됨
- Claude Code: 복잡한 코드 작성, 버그 패치, 파이프라인 스크립트·HTML 리포트 빌더·가드 스크립트 생성에 활용됨 (헤르메스와 분업)
- Playwright(브라우저 자동화): 인스타 공식 API 토큰이 막혀, 로그인된 브라우저로 벤치마크 계정·게시물을 직접 수집하는 데 사용됨 (헤르메스가 리서치하여 적용)
- 구글 트렌드(일본): 일본인들이 실제로 검색하는 한국여행 키워드 수요를 파악하는 데 사용됨 (무료)
- 네이버 검색: 트렌드 방향성에 맞는 구체적인 장소·주제 후보를 리서치하는 데 사용됨
- 로컬 영상 분석(OCR + 음성 받아쓰기): 잘 된 릴스가 실제로 무슨 내용인지 자막·음성을 추출하는 데 사용됨 (전부 로컬·무료, 유료 API 미사용)
진행 세부 내용 🔍
1️⃣ 설계서 셀프 인터뷰 & 분석 방향 결정
- 시도한 방법과 접근 방식: 막연히 "소재 추천해줘"가 아니라, 설계서를 먼저 쓰고 헤르메스가 나를 인터뷰하게 하여 요구사항을 구체화함.
- 사용한 프롬프트나 코드: "이 설계서를 기반으로 AskUserQuestion을 사용하여 기술 구현·UX·우려 사항·트레이드오프 등 모든 측면에 대해 나를 상세히 인터뷰해줘. 뻔하지 않게, 내용이 완성될 때까지 이어가라"라고 요청함.
- 얻은 결과나 피드백: 인터뷰 과정에서 "우리 채널은 업로드가 적어 분석 의미가 약하니, 벤치마크 계정 트렌드 중심으로 가자"는 핵심 방향이 정해짐. 분석의 무게중심을 벤치마크 쪽으로 옮김.
2️⃣ 공식 토큰 난항 → 브라우저 자동화로 우회 + 매주 갱신 루프
- 발생한 문제와 해결 방법: 인스타 공식 API(Graph API) 토큰 발급이 개발자 앱·인증 단계에서 계속 막힘. 토큰에만 매달리지 않고, 본인 계정 지표만 공식 경로로 두고 벤치마크 수집은 Playwright 브라우저 자동화로 전환함. (공식 약관상 권장 방식은 아니라, 요청 간격을 충분히 두고 조심스럽게 운용함.)
- 사용한 프롬프트나 코드: "계속 변하는 트렌드랑 잘 되는 게시물을 알고 싶은 거야. 초기 시드만 보면 의미 없어. 잘 되는 새 계정도 지속적으로 탐색해야 해. 매주 브라우징하면서 계정을 새로 업데이트하면 어때?"라고 요청함.
- 얻은 결과나 피드백: 고정 계정만 보는 게 아니라, 매주 새로 뜨는 계정을 스스로 찾아 갱신하는 루프가 만들어짐. 막힌 토큰 부분은 깔끔히 보류 — 전체를 멈추는 것보다 우회가 나았음.
3️⃣ 인스타 밖까지 — 다중 소스 리서치 & 방향성→구체 주제 2단 추천
- 시도한 방법과 접근 방식: 트렌드 리서치를 인스타 한 곳에서 끝내지 않고, 일본인 시청자의 실제 관심을 인스타 밖에서 끌어오기로 함.
- 사용한 프롬프트나 코드: "일본인들이 한국여행에 뭘 관심 갖는지 알려면 일본 포털 검색량 같은 것도 활용하면 좋겠어. 계획 세워봐." / "트렌드 방향성만 말고, 그래서 뭘 취재·촬영해 올릴지 구체적인 주제까지 추천해줘."
- 얻은 결과나 피드백: 벤치마크 인스타 + 일본 구글 트렌드 + 네이버 검색 + 릴스 자막을 결합. "일본 수요는 느는데 한국 콘텐츠 공급은 적은" 교집합을 우선 소재로 뽑게 됨. 단순 따라 하기가 아니라 빈틈 찾기. 또 "방향성 → 그 아래 구체 장소·주제"까지 내려가는 2단 추천 구조가 생김.
4️⃣ 와이프용 주 1회 HTML 리포트 구축
- 시도한 방법과 접근 방식: 결과물을 비개발자인 와이프가 한눈에 보도록 두괄식 HTML 리포트로 정리함.
- 사용한 프롬프트나 코드: "각 아이디어마다 샘플(예시 릴스)까지 넣어줘. Core/Target 설명도. 캡션·좋아요는 접었다 펼 수 있게, 모니터 해상도에 맞게, 12개가 한눈에 보이는 인덱스도 앞에 넣어줘."
- 얻은 결과나 피드백: 이번 주 최우선 아이디어 → 전체 아이디어 인덱스 → 방향성별 상세(근거 게시물·릴스 자막 발췌)까지 담긴 HTML 리포트가 완성됨. (실제 리포트 빌더 코드는 Claude Code로 작성·다듬음)
일본사이트 스크린샷
5️⃣ "역전 버그" 발견 & 재발 방지 안전장치
- 발생한 문제와 해결 방법: 와이프가 "예전(6/4) 리포트 아이디어가 더 좋았다"고 함. 개선했는데 결과가 더 나빠진 원인을 헤르메스와 추적하니, 근거로 붙이려던 릴스(자막)가 거꾸로 주제를 휘게 만드는 문제였음. 원래는 "주제를 먼저 정하고 → 근거 릴스를 붙이는" 순서인데, AI가 릴스를 보는 순간 "이 릴스 경복궁이네?" 하며 주제가 유명 정번으로 쏠려버린 것. 방향이 거꾸로(역전)된 버그.
- 사용한 프롬프트나 코드: "왜 완성된 전략에 릴스를 붙이는 게 아니라, 릴스 기준으로 전략이 수정된 거야? 이런 문제가 재발하지 않게 원칙적으로 뭘 개선해야 할지 생각하고, 하네스로 박아둘 수 있는지도 찾아봐."
- 얻은 결과나 피드백: 주제 정하는 담당과 근거 붙이는 담당을 분리하고, 주제 담당에게는 릴스를 아예 보여주지 않도록 구조를 바꿈. 나아가 이 문제가 재발하면 자동으로 걸러내는 검사(하네스 훅)를 박아 사람이 매번 확인하지 않아도 되게 함. (가드 스크립트와 훅 설정 코드는 Claude Code로 작성함)
시행착오 ⚠️
- 인스타 공식 토큰 난항: Graph API 앱·인증 단계가 계속 막혀 시간을 많이 씀. 토큰에 매달리지 않고 브라우저 자동화로 우회하여 해결함.
- 벤치마크 탐색 조기 종료: 초기 루프가 "화이트리스트 7개 + 1개만 찾으면 8개 도달 후 종료"되어 충분히 탐색하지 못함. 더 많은 계정·게시물을 본 뒤 트렌드를 추리도록 루프와 수집량 기준을 키움.
- '역전 버그': AI가 근거로 보여준 릴스가 거꾸로 전략을 끌고 가 아이디어 품질이 떨어짐. 주제 생성과 근거 첨부 단계를 분리해 해결하고, 자동 검사로 재발을 막음.
- 아이디어–근거 불일치: 추천 아이디어와 붙은 예시 게시물이 따로 노는 경우가 있어, 주제와 직접 연관된 게시물을 다시 탐색하는 수집 단계를 추가함.
배운 점 📚
- 되는 것부터 떼어내기: 전체를 한 번에 자동화하려다 지난번엔 흐지부지됐다. 이번엔 "트렌드 리서치"만 분리하고, 그 안에서도 막히는 토큰은 보류했더니 오히려 끝까지 갔다. 범위를 좁히는 게 완성 확률을 높인다.
- 한 출처만 보지 말 것: 리서치를 인스타 한 곳이 아니라 일본 검색수요·네이버·릴스 자막으로 엮으니, 따라 하기가 아니라 빈틈 찾기가 됐다. 다중 소스의 교집합이 진짜 인사이트다.
- AI가 가져온 '예시'를 무비판적으로 믿지 말 것: 예시(근거)가 거꾸로 판단을 휘게 만드는 경우가 실제로 있었다(역전 버그). 무엇을 보여줄지/감출지를 설계하는 게 중요하다.
- 고친 건 안전장치로 박을 것: 사람이 매번 검사할 수 없으니, 재발 방지를 자동 검사(하네스 훅)로 박아두는 게 진짜 마무리다.
- 무료로도 충분하다: 지난번 유료 스크래퍼 대신 이번엔 브라우저 자동화 + 로컬 영상 분석으로 전부 무료화했고, 결과는 충분했다.
향후 계획 🧭
- 보류한 인스타 공식 토큰 풀어 본인 계정 분석 합치기: 막혀서 미뤄둔 Graph API 토큰을 해결해 본인 계정 지표 분석까지 시스템에 통합할 예정임.
- 소재 추천 → 대본 자동 생성 연결: 지난번에 예고한 대본 자동 생성 에이전트와 이번 트렌드 리서치를 연결해, "소재 추천 → 대본 생성"이 한 흐름으로 이어지는 구조를 만들 예정임. 헤르메스(설계·리서치)와 Claude Code(코드 구현) 분업 워크플로우도 더 다듬을 예정임.
- 일본 데이터 소스 확대: 일본 검색수요 출처를 더 늘려 "빈틈 찾기"의 정확도를 높일 예정임.
도움이 필요한 점 🤝
- 인스타 공식 API 토큰/세션을 비개발자가 안정적으로 발급·유지하는 노하우가 있다면 공유받고 싶음.
- 브라우저 자동화로 인스타를 수집할 때 레이트리밋·차단을 안전하게 피하면서 꾸준히 돌리는 운용 팁이 있다면 듣고 싶음.
