소개
지난번에는 중독 치유 숏폼 영상을 자동화하기 위해 전체 구조를 설계해보았습니다. 주제를 입력하면 대본, 장면, 이미지, 영상, 음성, 자막까지 이어지는 흐름을 만들고 싶었습니다.
이번에는 한 단계 더 나아가, 실제로 그 자동화 구조를 구현하기 위해 관련 내용을 공부하고 따라 해보는 과정을 시작했습니다.
특히 Claude Code를 활용하면 텍스트만으로 영상 제작 전 과정을 자동화할 수 있다는 내용을 보고, Remotion, KLIPY, Whisper, Qwen3 TTS 같은 도구들을 연결하면 실제로 자동화가 가능하겠다고 생각했습니다.
그래서 이번에는 단순히 설계에 그치지 않고,
“이 도구들을 실제로 연결하면 영상이 만들어질까?”라는 궁금증을 가지고 실습을 시도해보았습니다.
진행 방법
이번 단계에서는 다음과 같은 도구들을 공부하고 설치 또는 이해하려고 시도했습니다.
Claude Code, Remotion, OpenAI Whisper,
이론적으로 이해한 전체 흐름은 다음과 같습니다.
텍스트 입력, AI가 스크립트 및 장면 생성, Remotion으로 영상 구성, KLIPY, Whisper 또는 TTS로 음성 생성, 최종 영상 렌더링
특히 인상 깊었던 점은,
이 모든 과정을 하나하나 따로 하는 것이 아니라 Claude Code에 텍스트로 요청하면 자동으로 이어서 처리할 수 있다는 구조였습니다.
그래서 아래와 같은 방식으로 생각해보았습니다.
“도박 중독 가족의 감정 관리를 주제로 30초 숏폼 영상을 만들어줘. 스크립트 작성 → 장면 구성 → 이미지 또는 움짤 삽입 → 음성 생성 → 영상 편집까지 모두 수행해줘.”
챗지피티에서 프롬프트를 다음과 같이 짜줬습니다.
Remotion Skill을 Claude에 설치 후, 위 프롬프트르 실행 후, 나온 결과는 다음과 같습니다.
여기 까지가 실행된 과정이고 다음 것들은 아직 문제가 있어 풀어가고 있습니다.
결과와 배운 점
첫 결과는 다음 비데오 영상입니다.
이번 단계에서 가장 크게 느낀 점은,
“이론으로 이해하는 것”과 “실제로 구현하는 것”은 완전히 다르다는 것이었습니다. 처음에는 여러 도구를 연결하면 자동화가 쉽게 될 것 같았지만, 막상 시작해보니 어디서부터 손을 대야 할지 몰라서 멈추게 되는 상황이 많았습니다.
특히 초보자로서 어려웠던 점은 다음과 같습니다.
1. 도구가 너무 많아서 오히려 혼란스러웠다
Remotion, KLIPY, TTS 등 각각은 이해되는데, 서로 어떻게 연결되는지 감이 잘 오지 않았습니다.
2. Claude Code에 무엇을 시켜야 할지 모르겠다
막연하게 “영상 만들어줘”라고 하면 안 되고, 구체적으로 어떤 단계로 나눠서 요청해야 하는지 어려웠습니다. 다행히 챗지피티에 물어보면서 답을 찾을 수 있었습니다.
3. 환경 설정이 생각보다 어렵다
Node.js, Git, API 키 설정 등 기본적인 개발 환경에서 시간이 많이 걸렸습니다.
4. 한 번에 너무 많은 것을 하려고 했다
영상, 음성, 자막, 움짤까지 전부 자동화하려다 보니 결국 하나도 제대로 완성하지 못하는 상태가 되었습니다. 이번 경험을 통해, 자동화에서 가장 중요한 것은 도구가 아니라 “설계”라는 말을 조금 더 현실적으로 이해하게 되었습니다.
영상 제작 흐름을 코드로 바꾸는 경험이 처음이다 보니 어디까지를 AI에게 맡기고, 어디까지를 내가 직접 해야 하는지 구분이 어려웠습니다. 결과적으로 지금은 “자동화”보다는 “영상 제작 과정을 코드로 한 단계씩 바꾸는 연습”이 필요하다고 느끼고 있습니다.
도움이 필요한 부분이 있나요?
현재 가장 도움이 필요한 부분은 다음과 같습니다.
- Remotion으로 텍스트 기반 영상 1개 만드는 최소 코드
- Claude Code에 넣을 수 있는 실제 실행 가능한 프롬프트 구조
- 텍스트 → 장면 → 이미지 → 영상으로 이어지는 가장 단순한 흐름
- 여러 도구를 한 번에 쓰지 않고, 하나씩 확장하는 방법
앞으로의 계획이 있다면 들려주세요.
앞으로는 전체 자동화를 목표로 하기보다, 아주 작은 단위부터 하나씩 성공시키는 방향으로 진행하려 합니다. 꼭 다음에는 전체 자동화 흐름을 완성해 보고 싶습니다.
도움 받은 글
Claude Code + Antigravity 관련 영상, AI 숏폼 자동화 사례 발표, Remotion 활용 설명 자료, 유튜브 관련 동영상들
