배경
귀여운 토끼 캐릭터가 경제 뉴스를 전해주는 숏폼 영상을 만들고 싶었어요.
근데 영상 하나 만들려면 필요한 게 한두 개가 아니었습니다.
- AI로 토끼 이미지 생성 (Gemini)
- 뉴스 내용을 TTS로 음성 변환 (ElevenLabs)
- 이미지 + 음성 + 자막을 영상으로 합치기 (Remotion)
과정
Claude Code에게 "토끼가 경제뉴스 전해주는 영상 만들고 싶다"고 말하는 것부터 시작했어요.
1. 프로젝트 설계: AGENT.md, 스킬 폴더 구조를 클로드 코드가 알아서 잡아줌
2. API 연동: Gemini(이미지)와 ElevenLabs(음성)의 API 문서를 보여주니 호출 코드를 바로 작성
3. Remotion 영상 템플릿: 타이틀 카드 → 뉴스 장면 → 엔딩까지 9:16 세로형 숏폼 구조 완성
4. 실제 뉴스로 테스트: 트럼프-이란 우라늄 뉴스를 주제로 대본 → 이미지 생성 → TTS → 영상 렌더링까지 한 번에 실행
- 사용한 기능: 에이전트 구조(AGENT.md/스킬), Remotion 스킬, 웹 검색, 코드 생성/수정
결과
뉴스 URL 하나 던지면 30초 숏폼 영상이 자 동 완성
- 토끼 캐릭터 이미지 4장 AI 생성
- 한국어 나레이션 자동 생성 (26.6초)
- 자막 싱크까지 맞춘 30.7초 영상 완성
- 유튜브 업로드 자동화까지 설계 진행 중
배운 점
자막과 나레이션의 싱크가 안 맞는 문제가 있었어요. 처음엔 장면 시간을 균등 분배했더니 말이 끝났는데 자막이 늦게 뜨는 현상이 생겼죠. 클로드 코드한테 문제를 말하니 "실제 음성 길이를 측정해서 그걸 기준으로 나누자"는 해결책을 제시했고, 수정 후 싱크가 맞았어요.
우여곡절이 좀 있었지만, 그 과정 자체가 "내가 뭘 모르는지”를 명확히 파악하고 클로드 코드한테도 명확히 물어봐야 더 좋은 결과물을 빠르게 얻을 수 있다는 걸 이번 스터디 통해서 새삼 더 느낄 수 있었습니다.
