소개
1주차 과제는 간단한 스토리보드를 만들고, 스토리보드를 컷별로 분리해서 I2V 로 영상을 만들고, 결과물을 Vrew를 이용해서 연결 및 나레이션을 입히는 작업이었습니다.
작업 방식은 익숙한 부분이고, 최근 시댄스 같은 OMNI 기반 툴 위주로 작업하고 있어 이번 과제는 스토리보드를 이용해 시댄스 2.0 으로 영상을 만들어 기준점으로 삼고, I2V를 코덱스 기반으로 작업하여 얼마나 유사한 형태의 영상을 만들어주는지 비교해 보았습니다.
당연히 결과물 자체는 OMNI 기반 툴이 좋지만, 높은 생성비용이 드는 만큼 기존의 I2V 방식의 번거로움을 에이전트를 통해 어느 정도까지 극복이 가능할지 테스트 해보았습니다.
진행 방법
먼저 공통적으로 사용할 시나리오의 스토리보드 및 캐릭터 시트를 생성해 줍니다.
이 이미지는 나노바나나 2 출시 직후에 테스트용으로 만든 4컷 만화 입니다.
때리는 손 방향도 맞지 않고 이래저래 문제가 있는 원판이지만 일단 진행해 보았습니다.
현재 흐름은 만화의 공식을 가져왔기에 원본을 기준으로 스토리보드를 만들어줍니다.
범용 스토리보드 프롬프트 - 레퍼런스 참 조
Create a [aspect ratio] [orientation] clean monochrome 2D storyboard line-sketch sheet with exactly [panel count] sequential panels for [scene purpose].
Preserve [critical continuity], and do not render bracketed labels.
[HEADER]
Minimal header; show only:
"[TITLE]"
"[SUBTITLE]"
[BOARD]
Use exactly [panel count] near-equal landscape panels in a fixed [layout].
Use clear gutters and natural P01-P## reading order.
Headers use:
P## / compact camera angle + shot size / short beat
Do not include camera-movement terminology in panel headers.
Preserve panel count and beat order over decorative packing.
[STYLE]
Clean monochrome 2D storyboard line sketch on white paper:
sparse single-pass graphite-gray contours,
simplified readable character figures,
minimal construction marks,
clear silhouettes,
and only essential set geometry.
No fills, wash, hatching, shading, shadows, color, texture, photorealism, 3D volume, finished illustration, dense repeated lines, or unnecessary surface detail.
[REFERENCES]
image_1 controls only [character A identity / hairstyle / proportions / outfit].
image_2 controls only [character B identity / hairstyle / proportions / outfit].
image_3 controls only [shared scale / prop / environment / style].
Do not transfer framing, lighting, or temporary pose from identity references unless explicitly stated.
[CONTINUITY]
[Character positions and relative scale.]
[Hand, foot, cheek, prop, or weapon-side rules.]
[Direction of travel and screen axis.]
[Object count and location.]
[Damage, injury, contamination, or other persistent state.]
[RULES]
Only [allowed visible text] is visible.
No speech bubbles, dialogue, narration boxes, arrows, icons, insets, extra panels, duplicate characters, ghost poses, motion trails, or written sound effects.
Represent movement through pose, balance, body angle, contact, and composition only.
[BEATS]
Draw one storyboard panel per visual beat:
P01 / [camera + shot size] / [short beat]:
[Camera height, direction, pitch];
[subject positions];
[action or preparation];
[critical continuity information].
P02 / [camera + shot size] / [short beat]:
[Direct continuation from P01];
[contact or transition];
[reaction];
[state carried into P03].
...
P## / [camera + shot size] / [short beat]:
[Final composition];
[ending state];
[required continuity].[REFERENCES] 항목에서 첨부하는 이미지의 설명과 [CONTINUITY] 영역에서 꼭 필수적인 일관성을 지정해 주면 좋고, 아니라도 너무 하위 LLM 모델만 아니면 적당히 이해하고 수정해줍니다.
남자와 여자의 발걸음을 보여주는 스토리보드
그렇게 만들어진 스토리 보드.
기본 OMNI 영상은 시댄스 2.0으로 작업하였습니다.
스토리 보드 작업할 때, 기본 지침으로 시댄스나 기타 영상 프롬프트를 함께 작업하는 것이 좋습니다. 함께 작업하면 좋은게, 하나의 콘텍스트에 내용이 모두 기억되기 때문에 스토리보드의 내용 자체를 이미 기억한 터라 개별 작업에 비해 오류가 줄어든다는 장점이 있습니다.
사람들의 다양한 이미지를 보여주는 컴퓨터 화면의 스크린샷
이렇게 영상이 나왔습니다. 스토리보드는 16:9 이지만 어떻게든 9:16으로 출력이 되었습니다. 다만 레이아웃 문제로 16:9를 9:16으로 변환하게 되면 생성 시간이 더 걸리거나, 혹은 꼭 필요한 캐릭터나 동작이 날아가는 경우가 있습니다. 가능하면 최초 스토리보드 생성시부터 비율 맞춰서 진행하는게 좋습니다.
그럼 이제 코덱스로 작업을 해보겠습니다.
코덱스 자체를 처음 써보았는데요...
먼저 챗지피티 앱을 설치하고... 클링 결제해놓은게 있어서 MCP 연결해주었습니다.
먼저 스토리보드와 캐릭터 시트를 삽입하고 세부 명령을 내려줬습니다.
작업 방식은
1. 기존 I2V 방식으로 스토리보드의 각 컷을 분할하고 9:16으로 변환, 캐릭터 시트를 참조하여 키프레임으로 사용 가능하게 수정.
2. 생성된 컷은 키프레임으로 사용해서 영상 생성.
3. 각 영상 은 3~4초 / 720p / 멀티샷 사용X
결과물은... 보다시피 상당히 좋지 않습니다.
컷 사이의 인과 관계를 고려하지 않고 생성해서 그런것으로 보이는데요, 보통 I2V로 작업할 때 가장 신경써야하는 부분이라 각 영상을 하나로 이을 것을 고려해서 생성하라고 했는데 이 모양입니다.
아무래도 처음 생성된 스토리 보드 자체가 키프레임 용으로 만들어진 것이 아니고, 뺨을 맞고 있는 만화적 문법과 영상의 문법은 다소 다르기에 방향을 좀 바꿔줍니다.
남자와 여자의 대화 스크린샷
결국 전체 컷을 재생성하고, 뺨을 맞는 만화적 구성의 2번 컷을 제거하고 1, 3번을 각각 스타트 엔드 프레임으로 사용하도록 지시했습니다.
생성된 완성본을 Vrew로 편집하려다가, 코덱스에서 직접 TTS 사용이 가능하다고 하여 대사별 시간 지정하여 삽입해보았습니다.
결과와 배운 점
최근 영상 모델의 이해력이 좋아지면서 예전보다 키프레임의 중요도가 많이 낮아지고 있습니다. 하지만 정밀한 제어를 위해 스토리보드나 레퍼런스의 중요도가 높아지고, 생성 비용 자체가 높아지는 지금, I2V 방식도 스토리보드 보강이나 좀 더 나은 제어를 위해서 섬세하게 공부할 필요가 있어 보입니다.
다만 에이전트가 OMNI를 넘어설 수 있는가... 에 대해서는 아직은 좀 애매해 보입니다. 코덱스를 처음 설치한 만큼 여러가지 지식이나 지침을 넣어 테스트 해보도록 하겠습니다.