소개
미드저니와 클링을 이용해서 짧은 쇼츠 만들기
일관된 캐릭터 만들기 위한 도전기!
진행 방법
챗지피&클로드 : 미드저니&클링 프롬프트 생성
캐릭터생성기 : 컨셉과 세계관 만들기
미드저니 : 이미지 생성 및 편집
클링 : 영상 생성 & 립싱크(말하는 모션 넣기)
수노 : 배경음악 생성
슈퍼톤 : 한국어 더빙
필모라 : 영상 편집
<기획>
우선 내가 만든 캐릭터 생성기를 이용해서 기초 컨셉과 세계관의 골격을 만든 다음에 클로드에 가져와서 세계관을 다듬고, 캐릭터 기획을 한다. 그리고 캐릭터 기획을 디테일하게 하기 위해 클로드에서 한 번더 수정!
https://character.calcwave.com/
초기 컨셉&세계관&캐릭터 잡는데 도움을 주는 사이트!
캐릭터 설정은 다양한 서식으로 만들어지겠지만, 가장 중요한 부분은 얼굴과 헤어스타일 등의 정보! 일관된 Face ID를 만들기 위해서는 이 정보를 캐릭터 설정에 넣어서 계속 활용합니다. 설정집은 노션에 토글 형태로 정리해서 언제든지 찾아보기 쉽게 정리합니다.
원하는 얼굴이 나올때까지 프롬프트를 수정하면서 반복해서 생성합니다. 원하는 얼굴이 확정되면 필요한 부분을 EDIT 기능 또는 포토샵 같은 툴로 수정합니다. 우선 저는 수정없이 업스케일하여서 사용하기로 결정하였습니다.
이제 원하는 영상을 기획합니다. 우선 어떤 영상을 만들고 싶은지 기획하고, 장면별로 시작 프레임을 정리하도록 합니다. 이 시작프레임은 클링AI와 같은 비디오 생성형 AI에게 제공할 장면별 첫 이미지입니다.
Image to Video 형태로 영상을 생성하는 경우, 이미지를 하나 제공하고, 이 이미지 뒤에 일정 시간동안 움직이는 영상이 만들어집니다. 그렇기 때문에 각 장면에서 첫장면을 위와 같이 뽑아내면 이어지는 영상을 만드는데 도움이 됩니다.
각 장면별 프레임이 무엇인지 알았으면, 그 장면에 맞는 이미지 생성 프롬프트를 요청합니다. 본인은 미드저니를 사용하므로 미드저니 프롬프트를 받아서 만들었습니다. 이미지 생성형 AI마다 약간씩은 다른 프롬프트를 사용합니다.
미드저니 프 롬프트를 요청해서 이미지를 생성하도록 합니다.
얼굴이 완성되었다면, 이번에는 얼굴을 참조(미드저니 이미지 레퍼런스)하여서 원하는 장면을 생성합니다. 얼굴이 안나오는 장면은 스타일참조를 해서 이미지의 분위기와 스타일을 통일시킵니다. 미드저니에서는 위 화면에서 오른쪽 아래에 있는 use -> image/style/prompt 버튼을 누르면 이 기능들을 이용할 수 있습니다.
이미지가 모두 갖추어졌다면, 아까 작성한 시작프레임과 쇼츠기획서를 LLM에 제공해서 클링ai용 스토리보드를 만듭니다.
카메라 앵글, 움직임, 오디오 등 영상 촬영에 어울리는 스토리보드가 나오면, 이를 바탕으로 클링 ai 프롬프트를 정확히 만들 수 있습니다.
영상 생성 프롬프트 생성시에는 카메라, 타임라인, 캐릭터 움직임 3가지 요소로 구성해주면 됩니다. 이렇게 주문하고, 영상을 만들어가면서 프롬프트를 하나씩 수정해보면서 영상 생성을 반복합니다.
클링ai를 통해 영상을 각 장면마다 만들고 원하는 영상이 나오면, 워터마크 제거한 후 다운로드합니다. 목소리가 들어가는 부분은 lipsync 기능으로 말하는 기능을 넣습니다. 저는 한국어 더빙을 위해서 슈퍼톤에서 목소리를 생성해서 편집할 때 입모양에 맞게 한국어를 배치했습니다.
완성된 영상
결과와 배운 점
기획이 좋을수록 만드는 시행착오와 전체 공정의 시간이 줄어듭니다. 하지만 아직 전체 프로세스를 몸에 익히지 못한 상태에서는 빠르고 단순하게 기획하고, 만들면서 수정하는 것이 결과물을 빠르게 창출할 수 있습니다.
생성형 ai는 완벽하지 않기 때문에 완성된 기획의도에 맞게 영상이나 이미지가 나오지 않을 수 있어서 원하지 않는 이미지나 영상은 중간중간 편집이나 다른 각도, 대체 이미지 등 편집으로 해결할 수 있는 요소가 생깁니다. 그렇기 때문에 전체 사이클(기획부터 영상 생성 및 업로드까지)을 빠르게 하고, 반복하는게 도움이 된다는 것을 이번에 다시 느꼈습니다.
원하는 인플루언서 이미지를 만드는데 시간을 계속 보내다가 이러다간 하나도 못 만들지 싶어서 연습으로 빠른 사이클을 돌려서 하루만에 기획부터 영상 완성까지를 도전하였습니다.
도움 받은 글 (옵션)
참고한 지피터스 글이나 외부 사례를 알려주세요.
(내용 입력)