소개
이번에는 Remotion을 활용해서 숏폼 드라마 제작 파이프라인을 정리해봤다. 처음 목표는 에피소드 스크립트 하나를 입력하면 이미지, 보이스, BGM, 영상 합성까지 거의 자동으로 끝나는 제작 라인을 만드는 것이었고, 현재는 엔드투엔드에 가까운 구조가 잡힌 상태다.
특히 이번 정리에서는 API를 실제로 연결해 돌리는 단계보다는, 파이프라인 구조를 어떻게 코드 중심으로 재편했는지에 초점을 맞췄다.
진행 방법
가장 큰 변화는 수작업 중심 흐름에서 JSON 기반 스크립트와 코드 기반 합성 구조로 바뀐 점이다.
episodes/ep01/script.json 기준으로 에피소드 메타, 5개 씬, 씬별 대사와 타이밍, 무드 정보를 정리했다.
수 작업 렌더 방식 대신 Remotion에서 씬별 duration_sec 값을 프레임으로 변환해 자동 편집 구간을 계산하도록 바꿨다.
핵심 정합 파일은 Root.tsx, Drama.tsx, SceneComp.tsx로 연결되며 씬 타임라인 합성 구조를 담당한다.
오디오와 자막은 씬 대사 타임스탬프를 기준으로 자동 표시와 재생이 되도록 Subtitle 컴포넌트 레벨에서 통합했다.
생성 파이프라인도 0단계부터 5단계까지 모듈화했다.
0단계: 캐릭터 레퍼런스 생성
1단계: 스크립트 생성
2단계: 이미지 생성
2.5단계: 이미지 강화
3단계: 이미지에서 영상 생성
4단계: 더빙 생성
5단계: BGM 생성
또 실행 명령도 npm run pipeline:all처럼 스크립트 하나로 묶을 수 있을 정도로 자동화 의도가 반영된 상태다.
결과와 배운 점
현재 ep01은 스크립트와 캐릭터 레퍼런스 데이터까지 준비된 상태이고, 기준 스크립트는 5개 씬 약 32초 분량으로 구성되어 있다. Remotion 조합 측면의 구조는 이미 갖춰져 있어서, 남은 것은 단계별 생성물을 실제로 채워 넣고 최종 산출물까지 연결하는 작업이다.
이번에 가장 크게 느낀 점은 아이디어를 영상으로 바꾸는 과정을 단순 편집 작업으로 볼 게 아니라, JSON 기반 스크립트와 AI 생성 스텝, 그리고 Remotion 타임라인 합성으로 나눠서 파이프라인으로 보는 것이 훨씬 확장성이 높다는 점이었다.
즉 초기에는 단일 영상 편집에 가까웠지만, 이제는 에피소드만 바꾸면 비슷한 제작 라인을 반복할 수 있는 구조로 진화했다고 볼 수 있다.
앞으로의 계획
남은 과제는 자동화 신뢰도 를 더 높이는 것이다. 특히 타임스탬프 정합, 타입 스키마 통일, 실패 복구 루틴, 최종 출력 검증을 정교화해서 실제로 반복 가능한 제작 시스템으로 다듬어볼 생각이다.
