요즘 Gen-3, Luma, Haiper, Kling 등 비디오 생성 AI들이 주목을 받고 있는데요, 실제 스토리 텔링을 위해서는 그냥 프롬프트 → 영상 생성으로는 한계가 있습니다. 그 한계가 특히 (1) 캐릭터의 일관성과 (2) 움직임 조정 (Motion Control)이라고 합니다.
이걸 Framer Studio 에서 이미 있는 그러면서도 초급자도 쓸 수 있는 공짜 AI 툴들을 사용해서 만들어 본 사례가 있어서 소개합니다. 스토리, 영상, 음향까지 모두 다 7시간만에 만들었다고 하네요.
아래 내용은 X.com의 쓰레드를 번역하고 다듬은 내용입니다.
원문: https://x.com/0xFramer/status/1819753462915010891
간략한 프로세스
1. 미드저니로 캐릭터를 만들고, MeshyAI로 3D 모델 만들기
먼저, 중간 여정 그림을 생성하는 것으로 시작했습니다.
캐릭터를 완벽하게 제어하려면 먼저 캐릭터를 T자 포즈로 만들어야 했습니다. 그래서 이미지 속의 캐릭터를 잘라내고 Midjourney의 /describe 기능을 사용하여 비슷한 캐릭터를 생성했습니다.
그런 다음 캐릭터 사진을 MeshyAI에 업로드하고 단 몇 분 만에 무료 3D 모델을 생성했습니다. .fbx 파일로 다운로드했습니다.
2. Mixamo로 모션을 만들기
그 후 무료 3D 캐릭터 애니메이션 라이브러리인 Mixamo(http://mixamo.com)에 모델을 업로드했습니다.
"스탠드업" 애니메이션을 선택했습니다. 배경 장면과 일치하는 각도를 선택하고 애니메이션 동영상을 화면 녹화했습니다.
캐릭터의 품질을 향상시키고 클레이 스타일을 부여하기 위해 비디오 투 비디오 도구인 GoEnhance (https://www.goenhance.ai/)를 사용했어요. 이 도구에 클레이메이션 필터가 있습니다.
그런 다음 런웨이의 배경 제거 도구를 사용하여 만들어진 모션 영상의 배경을 제거합니다. 그렇게 배경이 제거된 캐릭터를 중간 여정 이미지 위에 배치했습니다 (포토샵의 생성 채우기를 사용하여 원래 이미지의 정적 캐릭터를 제거했습니다).
모든 장면에 대해 이 워크플로를 반복했습니다.
3. 앵글이 다른 씬을 만들기
하지만 카메라 앵글이 지면과 어깨 너머인 장면은 어떻게 만들었는지 궁금할 수 있습니다.
캐릭터의 경우 이전 장면('내려다보기')에서 사용한 애니메이션을 그대로 유지하면서 Mixamo AI에서 카메라 앵글만 변경했습니다.
이 앵글에서 배경 이미지의 경우 이 카메라 앵글에서 환경으로 그럴싸한 이미지를 선택했습니다.
그런 다음 매그니피픽 (https://magnific.ai/) 의 스타일 변환 도구를 사용했습니다. 적절한 참고 사진과 설정을 찾는 데 시간이 좀 걸렸지만 그 과정을 좋아한다면 그렇게 어렵지 않겠죠?:)
4. 캐릭터, 배경, 앵글이 다른 씬 조합하기
모든 것을 조립하기 위해 After Effects를 사용했지만 Filmora를 사용해도 동일한 결과를 쉽게 얻을 수 있습니다(하지만 CapCut은 마스크를 그릴 수 없어요).
캐릭터, 환경, 스타일의 일관성만으로는 충분하지 않으며 에셋의 밝기와 대비도 일치해야 한다는 점을 명심하세요.
이를 위해 After Effects의 색조/채도 도구를 사용했습니다.
대부분의 에셋을 약간 조정하여 백그라운드와 조화를 이루도록 했습니다.
새, 양, 펑 애니메이션과 같은 에셋의 경우 YouTube의 그린 스크린을 사용하고 GoEnhance를 사용하여 클레이 스타일로 변환했습니다.
5. 음향 넣기
처음에 나오는 음악과 음향 효과 역시 YouTube에서 다운로드했습니다.
캐릭터의 웅얼거리는 소리는 직접 제 목소리를 녹음해서 사용했습니다 ㅎㅎ
5분 정도 걸렸지만 전체적으로 애니메이션에 생동감이 더해졌습니다.
원 저자의 마무리 말
이게 다입니다. 로켓 과학이 아니며 복잡한 도구가 필요하지 않습니다.
앞으로는 동영상 콘텐츠를 소비하는 사람들이 인공지능이 적용되었는지 여부는 중요하지 않을 것입니다.
가장 중요한 것은 스토리 품질과 장면의 일관성일 것입니다.
(광고) 지피터스에서 커뮤니티, 콘텐츠, AI 프로덕트 팀원을 찾고 있어요.