영상 생성 AI의 발달로 AI로 영상 콘텐츠 제작을 시도하는 경우가 많이 늘었습니다.
이를 위한 모델과 툴도 하루가 멀다하고 새로 나오고 있죠.
오늘 사례로는 미드저니로 이미지 제작, 이미지 투 비디오로 영상(Sora 이용), 음악 제작(Suno 이용)을 해서 만든 영상을 소개할 겁니다.
이미지 제작 :
영상 생성을 하는데 있어서 이미지를 먼저 제작하는 이유는 시작 혹은 끝 프레임을 제시해서 영상의 방향성을 잡아주기 위한 것도 있고, 전체적으로 여러 컷으로 만들어진 영상의 일관성을 만들어주기 위한 것도 있습니다.
먼저 모델을 만들어줍니다. 예쁘장하게 생긴 아이돌 미소년 모델이 나오는 화장품 광고를 만들고자 하는 목표를 잡았습니다. 프롬프트는 "photo of korean 20's more masculine androgynous beauty handsome guy, wear white suit, head to chest shot, short hair"라고 넣어줬어요.
'남성적인 모습을 더 지닌 중성적인 아름답고 잘생긴 남성(more masculine androgynous beauty handsome guy)'이 핵심입니다. 여기서 중요한건 androgynous에요. 중성적인 이라는 뜻이죠. 이 키워드가 프롬프트에서 빠지면 선이 굵은, 수염 숭숭 난 아저씨들이 나옵니다. 뷰티 모델 탈락!
캐릭터 레퍼런스(cref)를 이용해 같은 얼굴을 유지하면서 다양한 상황을 만들어줍니다. 그리고 맘에 드는 얼굴이 나올 때 마다 cref에 추가해서 얼굴 일관성을 최대한 유지하기 위한 발악을 해봅니다.
실제로 사용된 이미지와 프롬프트는 아래와 같아요.
korean 20's androgynous male, Body is facing forward and eye contact is direct and direct. bright Lighting that illuminates the entire face evenly, face close-up,black background,
korean 20's androgynous male, Side view of a white-ceilinged greenhouse, with head raised to look up at the sky
korean 20's androgynous male, A large ginkgo leaf covers half of your face.
photo of korean 20's androgynous male, A wall background with a subtle artistic pattern in white on a white background.
영상 제작 (이미지 투 비디오)
이번 영상은 Sora '만' 활용 했습니다. 어디까지 되는지 보고 싶었거든요.
소라에서는 주로 이미지 프롬프트로 이미지를 생성하는 것 보다는 스토리 보드 기능을 적극 활용했고요.
이미지를 넣고 스토리보드에 들어가면 기본적으로 이미지를 분석해서 프롬프트를 짜주는데요. 이 프롬프트가 소라에 최적화 된 인스트럭션을 통해 gpt로 생성되는 프롬프트로 보입니다.
그래서 이 프롬프트 전체를 다시 써주는 것도 방법이지만, 여기서는 gpt를 이용해 프롬프트에 동작을 추가하는 방법을 사용 할 건데요. 먼저 추가 할 움직임(여기서는 고개를 천천히 들어올린다는 표현으로 Keeping head down and slowly lifting it up)을 추가하고 하단의 익스펜드 캡션 버튼을 눌러줍니다. 그러면 제가 넣은 프롬프트와 원래 사진의 묘사를 합쳐서 새로운 스토리보드 프롬프트를 짜줍니다.
원문에는 없었던 고개를 천천히 들어올린다는 내용이 추가 된 프롬프트로 반영이 됩니다.
이런식으로 필요한 영상들을 제작했습니다.
이 영상에 삽입된 영상은 모두 이런식으로 이미지 + 스토리보드 프롬프트 수정을 통해서 제작했습니다.
음악 제작 (Suno) :
음악은 필수는 아니고 뭐 무료 저작권 음악을 쓰셔도 되고, 개인 프로젝트라면 기존 곡을 사용해도 되겠죠. 하지만 저는 만들어봤습니다.
Suno를 사용했구요. 프롬프트는 복잡하게 넣지 않았습니다.
정확히는 음악의 분위기를 정하는 키워드가 세가지, 장르 키워드를 한가지 넣어줬어요.
"calm, ambient, mysterious, scholarly"
여기서 Ambient는 앰비언트 장르의 음악을 이야기 하는 장르적 키워드고, 캄은 전체 음악의 템 포와 분위기를 차분하게 만들어줄테고, 미스테리어스와 스콜라리는 음악에 미스테리하면서도 연구적인 분위기를 추가하는 디테일을 잡아 줄거에요.
이번에는 그 외의 자세한 내용은 따로 넣지 않았습니다. 아주 명확한 방향성이 있던게 아니라서 이 정도로도 충분히 원하는 음악이 나올 것 같았거든요.
네 그렇게 해서 나온 음악입니다. 딱 원하는 분위기가 한번에 나와줬어요.
편집
만들어진 요소를 애프터이펙트에 한데 모아서 비벼줍니다. 영상의 움직임을 음악에 맞추거나 컷을 음악과 싱크 맞춰 넘어가게 해주고, 음악을 필요한 길이에 맞춰서 잘라 붙여 도입부와 마무리가 어색하지 않게 만들어줍니다. (사실 이 부분은 조금 대충 했습니다)
애프터이펙트 간단 사용방법이 궁금하시다면 7일 9시 진행 예정인 애프터이펙트 특강에 참여해주세요! (깨알 홍보)
그렇게 해서 완성된 영상
사실은 후반부 영상들은 조금 아쉽기도 하고 여기에 타이포까지 올려야 제대로 완성이긴 한데요..
시간 관계상 여기서 더 손대지 않고 마무리 하기로 했습니다.
이렇게 이미지 제작부터 영상 제작, 음악제작 그리고 얼렁뚱땅 넘긴 편집까지... 한 사이클을 돌아 봤는데요.
다음 사례는 좀 더 공들여서 제작했던 역동적인 영상을 만들기 위해 시도하고 수없이 실패했던 사례를 가지고 오겠습니다.
