소개
안녕하세요. SamAltoran 입니다.
쇼츠 영상 딸깍을 위해 한걸음 나아가고 있는데요.
지난 스터디에서 딸깍!하면 돈이 사르르 녹는 바이브 쇼츠제작 세계를 느끼고
살아남기 위해 이것저것 테스트하면서 겪은 실패 사례를 모아보았습니다.
진행 방법
목적 단순합니다. 최대한 돈을 아끼자 였습니다.
원래 저의 워크플로는 아래와 같았습니다.
세계관 구축 -> 이미지 생성 -> 이미지 수정(x10) -> 동영상 생성 -> 완성!
위의 방법은 정말 간단하게 완성작 까지 나왔지만,
제가 원하는 스타일이 안나오는 경우도 있었고...
자꾸 이상한 장면, 감정이 원하는 대로 안나왔습니다.
돈을 아끼기 위해 저의 짱구를 굴리며.. 아래의 전략을 세워보았어요.
remotion을 활용하자.
뽑은 이미지를 활용하자.
최대한 기획 후에 만들어보자. (파이프라인 재구성)
1. Remotion을 활용해보자
Remotion으로 후편집, 자막을 넣을 때 많이 사용하는 그런 워크플로 인데요
Remotion은 motion을 줄 수 있다는 점을 생각이 들었고 이를 활용해서
후편집에 비중을 높혀 진행을 해보려했어요.
(Remotion은 공짜니까요 ^_^)
주제는 화장품을 알려주는 숏츠를 제작해보았는데요..
처참하게 나왔습니다.
왜 이렇게 나 왔는지 복기를 해보니 아래 처럼 나왔어요.
❌ Failed (요금 한도 초과): fal-video (LTX 2.3) 모델과 typecast (TTS) 호출 시, 사용자 계정의 크레딧 잔액 부족(Exhausted balance) 및 무료 계정 어뷰징 방지(UNUSUAL_ACTIVITY_DETECTED) 에러가 떨어지며 영상과 음성 에셋 생성이 전면 중단됨.
✅ Corrected (Fallback 모드 우회): 비싼 AI 비디오 생성 대신, 방금 생성된 nano-banana의 '정지 이미지 4장'만을 활용하자는 사용자 피드백을 수용. 오디오와 영상을 건너뛰고 자막만 넣는 "Option A(Ken Burns 효과 활용)" 방식으로 테스트 노선 긴급 변경.
❌ Failed (렌더링 모드 고정 버그): 영상/오디오 분리 렌더링 시도를 위해 assemble.py를 실행했으나, 스크립트가 내부적으로 무조건 _assemble_shortform을 호출하도록 하드코딩되어 있어 "scene.mp4 없음" 치명적 에러 발생.
✅ Corrected (렌더링 스크립트 수정): agents/video-editor/assemble.py 내의 assemble_video() 함수가 _assemble_remotion을 올바르게 호출하도록 수정. 다행히 build_props.py가 영상(.mp4)이 없을 경우 빈 공간을 기본 길이(8초)로 자동 처리하도록 이미 구현되어 있어, 코드를 고친 즉시 Remotion 빌드 100% 성공.어차피 돈을 아끼는 생각으로 API 연결을 좀 빼버리고 진행을 했는데
제가 기획할 때 remotion을 비중높게 활용하는 방안이 적용이 안된 것 같습니다.
2. 미리 뽑은 캐릭터로 움직임을 Remotion으로 주어보자.
이번엔 미리 캐릭터를 뽑고 그것에 움직임을 Remotion으로 주고 하면 어느 정도
저급이지만 애니메이션이 되지 않을까 생각을 했습니다.
그래서 이번엔 대폭 수정을 해보았어요.
Claude Code Plan 모드를 활용해서 최대한 제가 원하는 방향으로
원래의 워크플로를 제가 원하는 방향으로 수정을 해보았습니다.
아래와 같은 키포인트 들이 바뀌었는데요.
## Key Decisions
1. 범 용 오버레이 시스템 (OverlayElement)
이유: 캐릭터뿐 아니라 소품, UI 목업, 일러스트 등 에피소드마다 다른 요소가 필요
결과: type(character/prop/illustration/ui) + 위치(x,y %) + 6종 입장/퇴장 애니메이션 + idle(breathe/bounce)
2. 동적 배경 시스템 (DynamicBackground)
이유: "배경이 흰색에서 시작해서 점점 바뀔 수 있다" — 씬 교체 + 씬 내 점진적 변화 모두 필요
결과: BackgroundLayer 배열로 씬 내 여러 배경 crossfade 전환 지원
3. 에피소드 상태 추적 (episode-state.yaml)
이유: "에피소드를 만들고 그 상태를 꼭 기록해야 한다" — 다음 에피소드에서 이전 상태 참조
결과: 에피소드별 생성 에셋 + 세계 상태(사용 가능 캐릭터/장소/소품) 기록
4. scenario-writer 역할 변경
이전: 주제 한 줄 → 시나리오 자동 생성
이후: 방울이가 제공하는 에피소드 이야기 → 검토 + 영상화를 위한 시나리오 확장
이유: 시나리오는 사용자가 직접 이야기를 주고, 에이전트는 영상 제작에 필요한 기술적 세부사항을 추가하는 구조결과물은 이렇게 나왔어요.....(혐주의)
아 그러니까 캐릭터 시트는 이거였구요
이걸...움직임을 주기위해
나눠봤어요!!
그래서 만들었습니다. ....다시 (혐주의)
어우...
3. 아에 다시 만들어보자 (현 진행중)
보니까 저의 수준은 이게 아닌 것 같습니다.
저API소비, 고재미농축을 위해 어떻게 할지 고민을 해보니..
제가 추구하는 방식의 쇼츠는 이 방향이 아닌 것 같더라구요.
저 비용숏츠를 추구하는 저로선 아래 같은 방식이 맞는 것 같더라구요.
스틸컷에 음악 붙 이기
간단한 애니메이션
글씨로만 되어진 쇼츠
그래서 아에 워크플로를 다시 짜보자는 생각을 해보았습니다.
방식은 캐릭터 이미지 생성 -> 애피소드 컷툰 제작 -> 컷툰을 나누거나 확대해서 영상+더빙하여 편집!
처음부터 사용자가 들어가면 어떤 양식의 쇼츠를 제작할 지
세계관을 만들면서 쇼츠 방향을 결정하고,
그 방향에 따라서 이미지를 먼저 만들지,
캐릭터 시트를 먼저 만들지
결정을 해서 진행하는 방향으로 맹들어 보고 있습니다..
아직 현재 진행중인데..
영상이 나오면 3탄으로 돌아와 보겠습니다.
끝!
결과와 배운 점
저비용,고농축 숏츠 이 후
고비용,고완성도 숏츠도 만들어보고 싶네요.
