소개
지난 주 일요일 역삼동에서 모여 JayKim님 물결2님과 지영님, 하뚱님 오산타님.. 그리고 이름을 까먹었어요.죄송..) 아이유 뮤직비디오 블루밍(Blueming) 영상을 만들었습니다.
모이니 좋더라고요. 열정적인 지피터스 멤버들답게 나눌 이야기가 참 많았습니다.
참고 영상은 https://youtu.be/D1PvIWdJ8xo?si=z-rM6VK1wdAickN7 입니다.
전체 진행은 물결2 님이 리드해주셨어요. 각자 5초씩 AI 영상이 만들어지니 30초씩 나누고 6개 이미지를 생성, 영상으로 만들어 편집하면 됩니다. 그리고 https://midjourneysref.com/ko 에서 스타일 레퍼런스를 선정하고, 아이유 캐릭터를 통일합니다.
진행 방법
저는 1분30초~2분 구간을 맡았습니다. 먼저 캡처 이미지를 미드저니에서 뽑아야 하는데요, 여기에도 미드저니 describe 활용하거나 챗GPT에게 요청하는 두가지 방법을 같이 썼어요. 그리고 번역기도요.
1) 캡처 이미지의 미드저니 프롬프트 만들기
유튜브를 보면서 필요한 화면을 캡처하고 미드저니로 갑니다. 그리고 ai 이미지를 뽑는데에는 2가지 방법을 병행했어요.
첫번째, 미드저니에 캡처한 이미지를 넣으면 describe 해주는데요, 이 프롬프트를 활용해서 미드저니에 다시 넣어줍니다.
두번째는 챗GPT에게 캡처 이미지를 넣고 프롬프트를 알려달라고 하는거에요.
2) 딥엘 번역기 활용
딥엘 번역기도 활용하는데요, 미드저니 describe 프롬프트를 딥엘의 한 화면에 같이 넣어놓고, 적절한 것을 찾아 조합합니다. 미드저니가 주는 4개의 프롬프트를 그대로 넣었을때 제가 원하는 장면이 안나오는 경우가 많아 이들을 조합하는 거죠. 때로는 챗GPT가 알려주는 프롬프트가 더 나을때도 있고요. 딥엘 화면을 여러개 띄워놓고 이들을 모두 살펴보고 프롬프트를 뽑습니다. 그리고 블루밍을 그리닝으로 스타일을 변경했으니 'blue'를 모두 'green'으로 변경해서 프롬프트를 완성합니다. 영어 잘하면 정말 좋겠죠 ㅠㅠ
그리고 작성된 프롬프트로 미드저니에 가서 이미지를 만들어요. 처음에 결정한 아이유 캐릭터 레퍼런스를 넣고, 통일하기로 한 스타일 레퍼런스 번호를 넣어요.
필요하다면 캡처한 이미지도 스타일 레퍼런스로 넣습니다. 아래 그림은 뮤직비디오에서는 주인공보다 종이와 펜에 집중하는 장면이었는데요, 캐릭터 레퍼런스가 들어가서인지 캐릭터가 강조되는 그림으로 나오네요.
뮤직비디오 캡처 그림
미드저니 생성 그림
작업을 반복하다 보면 원하는 장면에 가깝게 나온 미드저니 이미지를 다시 스타일 레퍼런스로 사용하거나, 처음 캐릭터 레퍼런스 이미지보다 해당 장면에 잘 맞는 이미지를 캐릭터 레퍼런스로 사용할 수 있는 경우가 생기더라고요. 그럼 작업이 조금더 빨라집니다.
주인공은 어차피 아이유이니 화면 구도가 비슷하다면 여기서 살짝만 프롬프트를 수정하면 다음 장면을 뽑을 수 있어요. 블루밍 뮤직비디오에서는 아이유가 같은 구도에서 계속 옷을 갈아입는데요, 이런 장면이 여기에 해당합니다.
2) 이미지를 AI 영상으로 만들기
미드저니 이미지를 영상으로 만드는데에는 미니맥스와 클링을 사용했습니다.
(1) 챗GPT에게 프롬프트 요청
먼저 챗GPT에게 미드저니 이미지를 주고 영상 프롬프트를 알려달라고 했어요.
(2) 미니맥스 (hailuoai.video) 에서 영상 만들기
이 프롬프트를 미니맥스(minimax)에 가져갑니다.
영상에는 이빨이 좀 이상하게 나오더라고요. 그래도 첫번째 생성된 영상으로 그럭저럭 만족합니다. 미니맥스는 첨이라 이것저것 만져보고 싶지만 시간관계상 빠르게 작품 완성하는 것을 목표로 합니다.
(3) 클링(kling)에서 영상 만들
미니맥스 무료 사용자라 하루 3개밖에 못만드니까 이제 클링(kling)으로 갑니다. 같은 방법으로 챗GPT에게 프롬프트를 요청하기도 하고, 간단한 내용은 직접 입력해요. 복잡한 프롬프트를 넣으면 제대로 안나오는 경우가 많으므로 역시 딥엘에 가서 조정합니다.
추가로 영상 생성이 오래걸려서 나중에는 standard mode 로 생성했어요. 그러면 영상도 조금 빨리 나오고 크레딧도 35 -> 20 으로 적게 차감됩니다. 영상의 화질은 조금 떨어질 수 있을거 같아요.
영상의 최종 편집은 물결2 님께서 해주셨어요~ 늦게까지 수고하신 멤버님들 만나서 즐거웠습니다!
결과와 배운 점
주말에 빠르게 완성하는 것을 목표로 한 작업이라 서둘러 진행되었습니다. 만약 시간적 여유가 된다면 뮤직비디오 영상을 더 분석하고 비슷한 장면을 한사람이 뽑도록 작업을 나누면 더 통일감 있는 영상이 나올 수 있겠다 생각되었어요.
그리고 바쁠때와 테스트는 클링 standard mode로 뽑는 것을 추천드려요.
제 블로그에도 과정을 올려두었습니다.