본문으로 건너뛰기

에이전트는 OMNI를 넘어설 수 있는가.

킹기도라쿤

2026.07.27

에이전트는 OMNI를 넘어설 수 있는가. 본문 이미지

소개

1주차 과제는 간단한 스토리보드를 만들고, 스토리보드를 컷별로 분리해서 I2V 로 영상을 만들고, 결과물을 Vrew를 이용해서 연결 및 나레이션을 입히는 작업이었습니다.

작업 방식은 익숙한 부분이고, 최근 시댄스 같은 OMNI 기반 툴 위주로 작업하고 있어 이번 과제는 스토리보드를 이용해 시댄스 2.0 으로 영상을 만들어 기준점으로 삼고, I2V를 코덱스 기반으로 작업하여 얼마나 유사한 형태의 영상을 만들어주는지 비교해 보았습니다.

당연히 결과물 자체는 OMNI 기반 툴이 좋지만, 높은 생성비용이 드는 만큼 기존의 I2V 방식의 번거로움을 에이전트를 통해 어느 정도까지 극복이 가능할지 테스트 해보았습니다.

진행 방법

먼저 공통적으로 사용할 시나리오의 스토리보드 및 캐릭터 시트를 생성해 줍니다.

이 이미지는 나노바나나 2 출시 직후에 테스트용으로 만든 4컷 만화 입니다.

때리는 손 방향도 맞지 않고 이래저래 문제가 있는 원판이지만 일단 진행해 보았습니다.

현재 흐름은 만화의 공식을 가져왔기에 원본을 기준으로 스토리보드를 만들어줍니다.

범용 스토리보드 프롬프트 - 레퍼런스 참조

Create a [aspect ratio] [orientation] clean monochrome 2D storyboard line-sketch sheet with exactly [panel count] sequential panels for [scene purpose].
Preserve [critical continuity], and do not render bracketed labels.

[HEADER]
Minimal header; show only:
"[TITLE]"
"[SUBTITLE]"

[BOARD]
Use exactly [panel count] near-equal landscape panels in a fixed [layout].
Use clear gutters and natural P01-P## reading order.
Headers use:
P## / compact camera angle + shot size / short beat
Do not include camera-movement terminology in panel headers.
Preserve panel count and beat order over decorative packing.

[STYLE]
Clean monochrome 2D storyboard line sketch on white paper:
sparse single-pass graphite-gray contours,
simplified readable character figures,
minimal construction marks,
clear silhouettes,
and only essential set geometry.
No fills, wash, hatching, shading, shadows, color, texture, photorealism, 3D volume, finished illustration, dense repeated lines, or unnecessary surface detail.

[REFERENCES]
image_1 controls only [character A identity / hairstyle / proportions / outfit].
image_2 controls only [character B identity / hairstyle / proportions / outfit].
image_3 controls only [shared scale / prop / environment / style].
Do not transfer framing, lighting, or temporary pose from identity references unless explicitly stated.

[CONTINUITY]
[Character positions and relative scale.]
[Hand, foot, cheek, prop, or weapon-side rules.]
[Direction of travel and screen axis.]
[Object count and location.]
[Damage, injury, contamination, or other persistent state.]

[RULES]
Only [allowed visible text] is visible.
No speech bubbles, dialogue, narration boxes, arrows, icons, insets, extra panels, duplicate characters, ghost poses, motion trails, or written sound effects.
Represent movement through pose, balance, body angle, contact, and composition only.

[BEATS]
Draw one storyboard panel per visual beat:

P01 / [camera + shot size] / [short beat]:
[Camera height, direction, pitch];
[subject positions];
[action or preparation];
[critical continuity information].

P02 / [camera + shot size] / [short beat]:
[Direct continuation from P01];
[contact or transition];
[reaction];
[state carried into P03].

...

P## / [camera + shot size] / [short beat]:
[Final composition];
[ending state];
[required continuity].

[REFERENCES] 항목에서 첨부하는 이미지의 설명과 [CONTINUITY] 영역에서 꼭 필수적인 일관성을 지정해 주면 좋고, 아니라도 너무 하위 LLM 모델만 아니면 적당히 이해하고 수정해줍니다.

남자와 여자의 발걸음을 보여주는 스토리보드

그렇게 만들어진 스토리 보드.

기본 OMNI 영상은 시댄스 2.0으로 작업하였습니다.

스토리 보드 작업할 때, 기본 지침으로 시댄스나 기타 영상 프롬프트를 함께 작업하는 것이 좋습니다. 함께 작업하면 좋은게, 하나의 콘텍스트에 내용이 모두 기억되기 때문에 스토리보드의 내용 자체를 이미 기억한 터라 개별 작업에 비해 오류가 줄어든다는 장점이 있습니다.

사람들의 다양한 이미지를 보여주는 컴퓨터 화면의 스크린샷

이렇게 영상이 나왔습니다. 스토리보드는 16:9 이지만 어떻게든 9:16으로 출력이 되었습니다. 다만 레이아웃 문제로 16:9를 9:16으로 변환하게 되면 생성 시간이 더 걸리거나, 혹은 꼭 필요한 캐릭터나 동작이 날아가는 경우가 있습니다. 가능하면 최초 스토리보드 생성시부터 비율 맞춰서 진행하는게 좋습니다.

그럼 이제 코덱스로 작업을 해보겠습니다.

코덱스 자체를 처음 써보았는데요...

먼저 챗지피티 앱을 설치하고... 클링 결제해놓은게 있어서 MCP 연결해주었습니다.

먼저 스토리보드와 캐릭터 시트를 삽입하고 세부 명령을 내려줬습니다.
작업 방식은
1. 기존 I2V 방식으로 스토리보드의 각 컷을 분할하고 9:16으로 변환, 캐릭터 시트를 참조하여 키프레임으로 사용 가능하게 수정.
2. 생성된 컷은 키프레임으로 사용해서 영상 생성.
3. 각 영상 은 3~4초 / 720p / 멀티샷 사용X

결과물은... 보다시피 상당히 좋지 않습니다.

컷 사이의 인과 관계를 고려하지 않고 생성해서 그런것으로 보이는데요, 보통 I2V로 작업할 때 가장 신경써야하는 부분이라 각 영상을 하나로 이을 것을 고려해서 생성하라고 했는데 이 모양입니다.

아무래도 처음 생성된 스토리 보드 자체가 키프레임 용으로 만들어진 것이 아니고, 뺨을 맞고 있는 만화적 문법과 영상의 문법은 다소 다르기에 방향을 좀 바꿔줍니다.

남자와 여자의 대화 스크린샷

결국 전체 컷을 재생성하고, 뺨을 맞는 만화적 구성의 2번 컷을 제거하고 1, 3번을 각각 스타트 엔드 프레임으로 사용하도록 지시했습니다.

생성된 완성본을 Vrew로 편집하려다가, 코덱스에서 직접 TTS 사용이 가능하다고 하여 대사별 시간 지정하여 삽입해보았습니다.

결과와 배운 점

최근 영상 모델의 이해력이 좋아지면서 예전보다 키프레임의 중요도가 많이 낮아지고 있습니다. 하지만 정밀한 제어를 위해 스토리보드나 레퍼런스의 중요도가 높아지고, 생성 비용 자체가 높아지는 지금, I2V 방식도 스토리보드 보강이나 좀 더 나은 제어를 위해서 섬세하게 공부할 필요가 있어 보입니다.

다만 에이전트가 OMNI를 넘어설 수 있는가... 에 대해서는 아직은 좀 애매해 보입니다. 코덱스를 처음 설치한 만큼 여러가지 지식이나 지침을 넣어 테스트 해보도록 하겠습니다.

12

함께 이야기해요 12

로그인하고 댓글을 남겨 주세요

MAS 프로필 이미지
MAS2026.07.30

우와아아아 우와아아 우와아아아아.......일단 아직 무슨 말인지 다는 이해는 안가지만, 도전해보고 싶은 욕구를 자극하시는 군요!!!

갓생오리 프로필 이미지
갓생오리2026.07.29

고가 사양과 저가 사양의 툴을 비교하는 점에서 흥미로웠습니다. 이번 영상을 하면서 영상 제작에는 쩐의 역할이 생각보다 크다라고는 들었는데, 얼마나 차이가 큰가? 라는 궁금증이 있었는데  사례글을 보면서 알게되었습니다~!

송아영 프로필 이미지
송아영2026.07.29

우와~ 사례글 너무 재밌게 보았습니다~ 하나 궁금한 점은 제작하신 15초 영상은 대략 비용이 얼마나 든 셈일까요? ^^

킹기도라쿤 프로필 이미지
킹기도라쿤2026.07.29

시댄스로 작업한건 15초 480p기준으로 4천원 정도 들어간거같습니다. 1080p로 가면 대략 만원 정도 예상되네요.

코덱스로 클링 mcp를 이용한 건 대략 초당 300원 이하일겁니다. 클링은 연간 결제 중이라 정확한 가격 측정이 어렵네요.

킹슈민 프로필 이미지
킹슈민2026.07.27

오 너무 재밌게 잘 봤습니다!! 중간에, 이 부분은 어떤건지 여쭤봐도 되나요?!

킹기도라쿤 프로필 이미지
킹기도라쿤2026.07.27

Comfyui 로 시댄스 모델을 불러와 작업하는 과정입니다. 아무래도 가격이 비싼 모델이다보니 Comfyui로 제어하는게 심적으로? 편안합니다...

킹슈민 프로필 이미지
킹슈민2026.07.27

@킹기도라쿤

오 그렇군요!! comfyui를 통해서, 원하는 프롬프트를 넣고 시댄스 불러오는 작업 (이거는 시댄스를 따로 구독해야하나요? 힉스필드 이런곳도 연결 가능한지..) 으로 진행하시는 군요!

너무 감사합니다! 유튜브 돌아다니면서 봤었던 툴인데 어려워보여서 눈 가렸다가 이참에 한번 시도해보는 것도 좋을 것 같네용 !!

킹기도라쿤 프로필 이미지
킹기도라쿤2026.07.28

@킹슈민

네 경험의 문제라 막상 시도해보시면 크게 어렵지는 않습니다. 디테일로 들어가면 선별 부분이 많지만 챗지피티나 제미나이에게 물어보며 진행하면 쉽게 접하실수 있습니다.

천안한마당 프로필 이미지
천안한마당2026.07.27

내용도 재밌고, 작성하신 사례글도 훌륭합니다. 영상파이프라인의 탈인재신듯 합니다. 3주차나 4주차때 사례발표 멋지게 해주시면 사람들이 우~와 할거 같습니다. 역시 현업은 다릅니다 ^^

킹기도라쿤 프로필 이미지
킹기도라쿤2026.07.27

네 좀 더 갈고닦아 좋은 내용으로 돌아오겠습니당...

라

탁월한 시댄스영상 먼저보고, 코덱스꺼 보내까 대비효과가 엄청나네요..! ㅋㅋ 내용도 재밌게 봤습니다.ㅋㅋㅋ!

킹기도라쿤 프로필 이미지
킹기도라쿤2026.07.27

그럼에도 불구하고 코덱스는 저퀄리티 반복작업에 강점이 있는 것 같습니다. 생성비용이 계속 상승하는 요즘, 생성 레벨에 따라 분배할 필요가 생기네요 ㅎㅎ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기