2주차 스터디 멤버 도전 과제 영상 제작기

소개

14기 브랜디드 마케팅 스터디 멤버 도전 과제를 시도해 보았습니다.

생성형 ai를 통해 영상을 최대한 구현해 보는 것을 목표로 하였습니다.

지식 배경은 미드저니 며칠 사용해 본 것과, 챗GPT 플러스에 포함된 소라 AI 찍먹 정도입니다.

진행 방법

사용 플랫폼

미드저니 / RUNWAY / 수노 / 캡컷 입니다

최종 결과물입니다.

도전 과제 영상을 분석해 보았습니다.

씬 1 (시작~ 2초)

하얀 옷을 입은 젊은 남성

정면을 향해 눈을 감고 고개를 숙이고 있다

고개를 들고 눈을 뜬다

자연광, 오른쪽에 광원 위치

씬2, 3 (2초 ~ 11초)

씬2-1) 남성이 정면을 바라본다. 몽환적인 눈빛.

커다란 은행잎이 왼쪽 눈을 가리고 있다.

씬3-1) 남성이 거대한 유리온실 안에서 위를 올려다보고 있다.

옆에 푸른 잎이 무성한 나무가 있다

하늘에서 자연광이 내리쬐고 아래에서 위를 올려다보는 시점

씬2-2) 씬 2-1의 남성이 얼굴을 가린 나뭇잎으로 부터 멀어진다

얼굴에 닿는 햇빛이 따가운듯 눈을 감는다

씬3-2) 씬3-1의 남성, 아래에서 부터 주위를 천천히 돌아가며 얼굴을 클로즈업

씬4 (12초~15초)

엠플 병을 중심으로 은행 잎이 있다.

끈적이고 액체에 감싸여진 느낌

씬5 (16초~21초)

남성이 걸어가다 벽에 기대어 화면을 응시한다

고풍스러운 조각이 있는 문, 혹은 벽

남성을 따라가는 시점구도

씬2~3은 두개의 씬을 서로 교차 편집한 것으로 생각되어 총 5개의 씬을 생성하기로 하였습니다.

이하 설명에서

런웨이 Gen3 alpha = 런웨이 알파

런웨이 Gen3 alpha Turbo = 런웨이 터보

로 칭하겠습니다.

씬 1 제작기

런웨이 터보의 경우 세장까지의 이미지를 삽입해 영상 생성에 기여할 수 있습니다.

씬 1이 고개숙인 남성, 고개를 들고 눈을 감은 남성, 정면을 바라보며 눈을 뜬 남성의 세컷으로 구성되어 있으므로 각각의 이미지를 연결해서 쉽게 동영상을 생성할 수 있을 것으로 예상했습니다.

미드저니로 베이스가 될 이미지를 생성해 보았습니다.

여기서부터 난관이 시작되는데, 미드저니 스킬 부족인지 고개를 숙이고 있다는 프롬프트가 전혀 먹히지 않았습니다.

안뽑히는 이미지에 계속 매달릴수 없어 미드저니로 생성한 이미지를 세장 중 중간 위치에 두고 런웨이 터보 프롬프트를 주고 생성하였습니다.

A close-up shot of a man with his head bowed. The camera slowly pans up as he raises his head, gazing directly at the viewer. Natural light softly streams in from the right, casting a warm glow across his face as he gradually opens his eyes, evoking a sense of awakening.

남자가 고개를 숙이고 있다가 고개를 들어 정면을 바라보며 눈을 뜬다는 컷 별 설명을 작성하고 클로즈업, 자연광을 유지하는 걸 메인으로 작성하였습니다.

미드저니로 부터 시작된 고난이 점점 커져갑니다.

생성형 ai에 대한 경험치 자체가 적고 런웨이는 이번 스터디를 시작하며 결제하고 처음 접한 ai 입니다.

경험치가 낮다보니 이걸 미드저니에서 손을 대야 하는지, 런웨이 프롬프트에서 끝장을 봐야하는 건지 조차도 알 수 없었습니다.

이것저것 손대다보니 점점 결과가 산으로 가고 있었습니다.

약 100여장의 미드저니 이미지와 40여개의 동영상을 남기고 첫날을 마무리하게 되었습니다.

구정 연휴 내내 독감으로 고생하다 약 일주일만에 다시 작업을 시작했습니다.

"흠... 고개를 숙인 이미지를 만들지 못한다면... 반대로 인사하는 영상을 만들어서 역재생하면 되지 않을까???

*그렇게 여러번의 시도 끝에 인사하는 영상을 뽑았습니다.

꼼수... 죠... 그렇습니다.

운 좋게 인사하고 고개를 드는 것까지 출력이 되었고 역재생과 고개를 드는 것을 비교해보고 역재생 영상을 사용하기로 하였습니다.

씬 2 제작기

씬 2는 크게 세가지 컷으로 분리했습니다.

커다란 은행잎이 얼굴의 절반을 가린 남성, 남성이 은행잎 밖으로 이동, 눈이 부신듯 눈을 감았다 뜬다.

미드저니로 베이스가 될 이미지를 생성해 보았습니다.

??? 일관된 캐릭터를 위해 무드보드를 사용해 봤는데, 베이스 이미지가 문제인건지, 무드보드 사용법이 잘못된건지 여성형 캐릭터가 나옵니다. 그림체도 맞지 않구요.

이것 저것 개인화 및 프로필을 건드려 봅니다.

음... 뭔가 나오긴 하는데... 노란 눈... 분위기는 또 왜이리 칙칙한지...

어차피 개인화된 것, 이 톤으로 계속 밀어붙여 봅니다.

그나마 가장 괜찮게 나왔고 씬 1과 닮은 이미지를 베이스로 잡았습니다.

복잡한 움직임이라 판단하여 런웨이 알파 모델을 사용했습니다.

The man moves slowly to the right, the camera follows him.

눈을 감았다 뜨는 부분이 구현이 어려워 이것 저것 손대다가 런웨이에서 기본적으로 제공하는 몇가지 옵션을 선택해 보았습니다.

Dynamic motion, dynamic blur, 30x speed, unsharp edges. The man moves slowly to the right, the camera follows him, Close eyes slowly and open them, Side lit

원래 한 씬으로 출력해서 나눌 예정이었으나 여러 행동 프롬프트를 동시에 입력하니 높은 확률로 모두 작동하지 않거나 낮은 확률로 기괴한 행동을 보여 두개의 씬으로 분리했습니다.

씬 3 제작기

씬 3은 하나의 롱테이크입니다.

로우 앵글에서 시작해서 캐릭터를 중심으로 회전하면서 올라가는 걸 어떻게 구현할까 하는 것이 가장 큰 문제 였습니다.

영상 촬영은 전혀 모르는 분야라 챗GPT와 구글의 도움을 받았습니다.

그렇습니다. 오르빗 샷이라고 합니다.

하지만 전 챗 GPT를 맹신하는 사람이 아니므로 구글에도 검색 해봤습니다.

패럴렉스 샷이라는게 있다고 하네요?

음... 둘다 만들어보겠습니다.

A K-pop-style East Asian man gazes at the sky, wearing a white jacket. The shot begins from a low angle, centering on him. Using a parallax effect, the camera smoothly closes in on his face. Diffused lighting, slow motion, cinematic.

텍스트로 영상을 만드는 기능을 테스트 해봤습니다.

음... 일단 복장 부분에서 정확한 명칭을 작성해야할 것 같습니다.

미드저니로 이미지를 뽑아봅니다.

... 도대체 제 미드저니는 뭘로 개인화가 되었을까요...

이제 원본 재현은 물건너 간 것 같고 톤앤매너라도 맞춰봅시다.

오르빗샷

Orbit effect shot : kpop style east asian male looking at the sky, the camera smoothly closes in on his front face. Diffused lighting, slow motion, cinematic.

패럴랙스샷

parallax effect shot : kpop style oriental male looking at the sky, the camera smoothly closes in on his front face. Diffused lighting, slow motion, cinematic.

둘다 카메라 워킹은 비슷하게 나왔지만 패럴랙스샷을 설정한 쪽이 최종 결과물이 괜찮게 나왔습니다.

씬 2와 3을 제작하는대 대략 150개 정도의 영상을 출력했는데 여기서 부터 언리미티드 요금제인데도 제작 대기 시간이 기하급수적으로 늘어나기 시작했습니다.

씬 4 제작기

씬 4는 제대로 구현하지 못했습니다.

앞서 언급한대로 씬 2와 3을 제작하며 대략 150개 정도의 영상을 하루에 생성하고 나니 제작 대기 시간이 영상당 1분 이상 걸리게 되었습니다.

생성형 ai에 대한 경험치가 없다보니 시행 착오를 통해 결과를 만들어 내는 방식 + 길어진 대기 시간의 조합이면 한 씬 만드는데 몇시간이 걸릴지 기약없는 상황.

Ginkgo leaves and ampoule bottles filled with liquid lie on their sides. The background features a mucous-like foam texture with an iridescent sheen. Natural lighting.

텍스트로 영상을 생성하니 아예 다른 영상이 출력되었습니다.

뭔가 크리에이티브한 것을 만들때는 텍스트 투 비디오가 괜찮은 선택이지만 지금처럼 특정 영상을 재구현 하는데는 결과가 보장되지 않는다는 단점이 이번 씬을 제작하면서 크게 느껴졌습니다.

미드저니로 테스트해본 결과 앰플병 구현이 어려워 인터넷에서 다운받은 상품 이미지를 베이스로 사용했습니다.

Opaque, mucous-like fluid gradually rises, filling the scene. Bubbles form and shift within the liquid.

이 이미지로만 프롬프트를 달리하여 30여개의 영상을 출력하였으나 정상적으로 구현된 것이 없었습니다.

도전 과제 영상의 해석이 잘못되었거나 프롬프트 번역 과정에서 뭔가 잘못되었을 것이라고 막연히 생각해 봅니다.

씬 5 제작기

다음날 대망의 마지막 씬을 시작합니다.

고풍스러운 조각이 있는 문, 혹은 벽, 하얀색 드레스 셔츠를 입은 남성이 걸어가다 벽에 기대어 화면을 응시한다, 남성을 따라가는 시점.

미드저니로 베이스가 될 이미지를 생성해 봅니다.

A k-pop style man in a white suit, with a wall of classical sculptures on the left. The man has his back to the screen.

프롬프트 번역을 잘못해서 "고풍스러운 패턴이 있는 벽" 이 "고풍스러운 조각들"로 입력이 되었습니다.

화면을 등지고 있는 것은 구현되었지만 전신이 다 나와서 이부분도 수정해 줍니다.

K-pop style Korean male in white suit, male has his back to the screen, close up of upper body, on the left side of the screen is an ivory wall with an antique pattern carved into it.

고풍스런 패턴이 있는 아이보리색 벽, 상반신 클로즈업 까지는 구현이 되었으나...

어딘지 모르게 어둡습니다.