소개
(사실 작년 12/24 이브 밤에 9시간 걸쳐 만든 건데, 사례글을 이제야 씁니다...ㅎㅎ)
저는 항상 연말쯔음 1년 돌아보기를 합니다. 구글캘린더를 꺼내놓고, 각 월별로 주요 사건들을 나열하고, 해당 사건들 중심으로 배운 점 등을 정리하는 방식으로 해요.
제가 또 13기에 영상 스터디를 했잖아요? 갑자기 번뜩이는 아이디어가 떠올랐지 뭡니까!
주요 사건들을 각 장면 별 애니메이션으로 만들어보자!
지난 번 영상 스터디원들과 실사 영화를 만들어봤으니 이번에는 애니메이션을 만들어보고 싶기도 하고..
그렇게 시작된 저의 크리스마스 이브 나홀로 애니메이션 제작기를 공유해드립니다! 🎄
먼저 결과물부터 보기
※ 꼭 음악이랑 같이 보세요!! 작사작곡까지 딱 이 1년 돌아보기 애니메이션에 맞춰 제작했어요!
진행 방법
장면 어떤 거 만들지 사건 위주로 나열하기
먼저, 구글캘린더를 보면서 사건들을 나열해봅니다.
주인공 닿 캐릭터 생성하기
이제 제가 나와야 하니까, 절 닮은(?) 캐릭터 하나를 생성해봅시다
간단하게 프롬프트만 넣고 몇 번 시도하다가, 마음에 드는 게 안나오길래 제 사진을 캐릭터 레퍼런스로 넣어봤습니다.
진짜 얼굴 빵빵한 거부터 너무 저를 닮아서 뭔가 되게 별로였어요... 그래서 과감히 제 얼굴을 뺐습니다.
꼭 캐릭터가 날 닮아야 할 필요는 없자나여...?
미드저니 프롬프트 제너레이터 GPT에게 한국인 여성, 동그란 얼굴, 20대 등의 키워드를 넣고 프롬프트를 만들어달라고 했습니다.
A character of a korean young woman with a rounded face and warm smile, large expressive eyes reflecting light, and shoulder-length wavy hair with a glossy texture. Wearing a casual denim shirt with vibrant detail, standing in a softly-lit environment. Skin glowing with smooth shading, playful and warm atmosphere. Created Using: Pixar animation aesthetics, soft gradient lighting, highly detailed texturing, smooth outlines, cinematic style, hd quality
드디어 마음에 드는 캐릭터 (나름 닮은 느낌..?) 를 드디어 만났습니다. (이미 여기까지 1시간 반을 썼어요)
근데 옷이 마음에 안들었어요. 저는 노오란 후드티를 입고 싶었거든요!
마음에 든 사진을 클릭 > 미드저니 Editor 기능을 활용해 옷을 지우고, 프롬프트 중 옷을 묘사하는 곳만 "yellow hoodie"로 바꿨습니다.
짜잔! 드디어 마음에 드는 옷을 입었습니다!
각 장면 이미지 생성
제가 애정하는 미드저니 프롬프트 제너레이터 GPT한테 갑니다. 근데 얘는 디스코드 버전 중심이라 프롬프트 맨 앞에 /image 명령어를 주고, 맨 뒤에 온갖 파라미터를 넣어줍니다(ex. --v 6)
저는 미드저니 웹에서만 쓸거기 때문에 그런거 다 빼달라고 했습니다.
사무실에서 컴퓨터 앞에 앉아있는 여자아이 모습
A young girl with short brown hair wearing a neat blouse and skirt, sitting straight in a modern office chair. She is intensely focused on the monitor, her face lit by the soft glow of the screen. The desk is cluttered with colorful sticky notes, a coffee mug, and a notebook. The office has large windows behind her, letting in bright natural light, and the atmosphere feels lively with a hint of professionalism.미드저니 가서 그대로 복붙하고, 무조건 처음 생성한 캐릭터 이미지를
캐릭터 레퍼런스
스타일 레퍼런스
2개씩 꼭 반드시 꼭!!! 지정해주고 생성합니다. 그래야 얼굴 일관성 유지 + 전체적인 애니메이션 톤앤매너 유지가 됩니다.
계속해서 장면을 묘사해달라고 요청합니다.
방에서 실버 브리티시 숏헤어 아기고양이를 돌보고 있는 여자아이 프롬프트 5개를 줘
고양이를 장난감으로 놀아주는 모습을 묘사해줘
대기업에서 AI 교육을 진행하는 모습을 다양한 버전으로 묘사해줘
온라인에서 다른 멤버들을 코칭하는 모습
여자애는 뒷모습이고 온라인 화상회의 장면이 보여야돼. 컴퓨터 위에는 AI관련 아이콘들이 막 떠다녀
이런 식으로 계속 쭉쭉 이미지를 뽑았습니다.
항상 캐릭터 레퍼런스, 스타일 레퍼런스에 같은 이미지를 반복해서 넣은 거 보이시죠?
💡 이 과정에서 얻은 꿀팁
미드저니 프롬프트 제너레이터에게 단순히 "장면"만을 요청하는 것 보다, "노란 후드 여자아이가 OO하는 장면" 이런 식으로 "노란 후드 여자아이"를 포함시켜주는 것이 좋습니다.
예를 들어,
고양이를 장난감으로 놀아주는 모습을 묘사해줘
여자아이가고양이를 장난감으로 놀아주는 모습을 묘사해줘노란 후드 여자아이가고양이를 장난감으로 놀아주는 모습을 묘사해줘
이 경우
1번은 남자가 등장하거나, 사람이 아예 등장하지 않을 수 있음 (그래도 GPT 맥락 속에서 이전 요청에서 여 아자이를 묘사했다면, 여자아이가 등장할 가능성이 높긴 함)
2번은 아무리 캐릭터 레퍼런스로 노란 후드 여자아이 캐릭터를 준다고 해도, 옷 색깔까지 명확하게 지정해주지 않았기 때문에 스타일 레퍼런스와 가장 유사한 색 1개를 골라 옷으로 입혀줌 (그래서 초반 이미지는 분홍색 옷을 입고 있기도 함)
3번은 캐릭터 레퍼런스로 얼굴도 유지시키면서, 옷까지 명확하게 '노란 후드'로 유지시킬 수 있으므로 가장 일관성 유지되는 느낌을 줌
이제 각 장면을 움직이게 하자! (feat. 클링AI)
대부분 이미 이미지가 묘사하는 장면이 명확하다면, 프롬프트를 아무것도 넣지 않아도 어느정도 원하는 영상이 나오더라고요.
아래 이미지를 예시로 보면, 누가봐도 딱 고양이랑 장난감으로 노는 장면이죠? -> 그러면 클링도 그렇게 이해하고 노는 모습으로 영상 만들어줍니다.
간혹 아래와 같이, 이미지 장면만으로는 영상 장면이 명확하게 설명되지 않을 때가 있어요. 정류장에서 버스 기다리는 뒷모습 -- 까지는 명확한데, 고개를 돌려 버스를 바라볼 수도 있고, 갑자기 자리에서 벌떡 일어날 수도 있죠.
이런 경우에는 간단하게라도 명확한 동작을 프롬프트로 넣어주는 게 좋습니다.
저는 피곤해서 지친 뒷모습을 묘사하고 싶었기 때문에, "고개를 천천히 숙이는 뒷모습" 정도로 아주 간단하게 프롬프트를 넣어줬습니다. 그랬더니 고개를 바닥으로 투욱 떨어트리는 영상이 나왔어요!!
뭐 이런 식으로 쭈우우우욱.... 영상을 다 뽑아냈습니다.
너무 많아지니까 중간중간 마음에 드는 영상들 즐겨찾기(별표) 해두면서 관리했어요!
💡 이 과정에서 얻은 꿀팁
미드저니에서 이미지를 뽑다보면, 주인공 인물이 너무 한 가운데 크게 그려지는 경우가 대다수 입니다. 그렇게 되면 바로 영상으로 만들었을 때도 인물이 동작할 수 있는 범위에 한계가 생기죠. 걸어가게끔 한다거나 할 때?!
저는 아래 이미지 처럼 남자친구랑 단풍길을 걷는 모습을 영상으로 만들고 싶었는데요, 너무 가운데에 인물이 있어서 좀 더 멀리서 앞으로 걸어오게 하고 싶었습니다.
이때, 미드저니 기능 중 Zoom 을 써서 이미지를 2배로 키울 수 있습니다. 음.. 정확하게는 배경이 2배 커집니다. 원본 이미지를 가운데 두고 둘러싼 테두리 배경을 생성해줍니다.
아래와 같이 주인공 인물들이 이미지에서 차지하는 비율이 더 줄어들었죠?
이걸 이제 클링 가서 영상으로 만들어봅니다. 앞으로 걸어나왔으면 해서 영상 프롬프트는 "go forward" 정도로 간단히 적었습니다. 저 멀리서부터 앞으로 걸어오는 영상이 만들어집니다.
다 다운 받고 캡컷 가서 이어붙이기
즐겨찾기 한 영상들을 다 저장하고, 이걸 캡컷 가서 다 순차적으로 5초씩 이어붙였습니다.
지금 세어보니 약 60개가 넘는 5초짜리 영상을 만들었더라고요. 클링 써보신 분들은 알겁니다. 하나 만드는 데 6-8분은 걸린다는 사실을.................. (왜 9시간이 걸렸는지 아시겠죠? ㅠㅜㅜㅠㅠ)
이제... 노래를 만들어야죠.. 클로드에게 작사를 부탁합니다.
그럴듯하게 가사를 뽑아줍니다. 중간중간 피드백을 주면서 수정해갑니다. (AI스터디는 강의도 아니고 학생들도 아니라구!!)
또 기가막히게 잘 바꿔줍니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
준 가사대로 suno 가서 만들었는데 노래가 4분이나 됩니다. 저는 5초짜리 영상 30여 개라 아무리 길어봤자 3분이 안되거든요. 그래서 좀 줄여달라고 했습니다.
Suno에 가서 음악을 만들어야죠?
몇 개 만들고 들어보면서 마음에 드는 걸 택해서 캡컷으로 가져갔어요.
근데 하나 시행착오가 있었는데, 초반 몇 구절 들어보고 마음에 드는 음악이 있어서 그걸로 한땀한땀 편집을 하고 있었는데, 진짜 어이없게도 내가 넣은 가사 중 일부 구간을 아예 누락한 채로 음악을 만들어줬었더라고요??
그래서 나는 그 구간 가사가 꼭 필요한데 아예 누락돼서... 그 음악을 버렸습니다.. 편집 절반 이상 다 그 음악에 맞춰 했었는데ㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜㅜ 그래서 다른 음악 또 만들어서 새로 편집했어요ㅜ
캡컷에서 최종편집하면 끝!!
인사이트
밤 12시에 시작해서 다음 날 (크리스마스) 오전 9시까지, 꼬박 9시간을 단 한 숨도 자지 못하고 했어요...
클링 크레딧을 5-6천 개 정도 쓴 것 같습니다 (영상 1개 생성 시 35 크레딧 차감 = 약 150개 영상 제작)
최종 선택한 영상은 60여 개, 생성한 이미지는 3-400장 되는 것 같아요.
1년 돌아보기를 매번 글로 정리하다가, 이렇게 영상으로 생생하게 표현해볼 수 있었다는 게 너무 뜻깊었고,
애니메이션은 확실히 실사가 아니다보니까 그 불편함의 골짜기가 없는 것 같아요. 일관성이 좀 떨어져도, 옷을 좀 다르게 입어도, 손 모양이 좀 이상해도 -- 그냥 다 귀엽고 자연스러웠어요. 왠지 실사는 영상화 했을 때 약간이라도 AI 스러운 부분이 느껴지면 불편한 그 느낌이 있잖아요.
영상은 정말 하는 만큼 실력이 쌓입니다... 이것저것 시도해보고 그 결과를 바로바로 내 눈으로 보고, 내 의도와 결과를 바로바로 비교해가면서 -- 그렇게 인사이트랑 감이 생기는 것 같아요.
끄읏
(사실 이 뒤에 영상 1개 또 만든 거 있는데, 또 시간될 때 사례글 쓰러올게요~~ 티저만 뿌리고 도망갑니다!!)
우리집 고양이 뽀야가 주인공입니다!! (뽀야가 감바스를 해줍니다!)