🎬 프로젝트 개요
AI 도구를 활용해 K-pop 아이돌 콘서트 스타일의 뮤직비디오를 직접 제작해보았습니다. 기획부터 캐릭터 디자인, 영상 생성, 음악 제작, 편집까지 모든 과정을 AI로 진행하며 어떤 결과물이 나오는지 실험해봤습니다. 그 과정과 시행착오를 공유합니다!
(영상 생성은 이번이 두번째이고, 캐릭터 일관성 도전은 처음입니다.)
결과물은 피드백을 받아보고자 친구에게 공유했는데, 본인이 판정 못하겠다고 딸내미 보여줬나 봅니다. 결론은 친구 딸내미가 보고 아 재 등급 판정해 주었습니다. ㅋㅋㅋ (좀 야해서 X 등급 받을 줄 알았는데, 이 정도는 야한 거 아니라고, 오히려 감성이 요즘 감성에서 뒤쳐지는 것 같다고 아재 등급 주더군요. 이제 갈 때가 됐나 봅니다. 😭 😭 )
🛠 전체 Workflow
기획
K-pop 콘서트 스타일의 영상 기획
K-pop 여자 idol 'Lumi'의 20대 여성의 첫사랑 감성을 담은 신곡 'Su Tu Ru Ru' 공연 (가수 이름과 노래 제목도 ChatGPT와 협의하다 추천받음)
영상 길이는 2분으로 제한해 집중도를 유지 (길어지면 지루해지니 2분 짜리로...)
캐릭터 구축
20대 한국인 여성 가수(K-pop idol), 애니메이션 스타일 (귀엽고 섹시한 세일러문 느낌)
Midjourney를 활용해 원하는 스타일의 캐릭터 생성 및 일관성 유지 연구
우선 Midjourney에 여러 프롬프트를 주면서 캐릭터 이미지 뽑아보기
무한 반복 와중에 마음에 드는 캐릭터 기본 이미지 선정
캐릭터 일관성 유지를 위한 방법 연구 및 고민
JayKim 스터디장님 조언 및 Tip 참고
Youtube 영상들 다수 시청 및 공부
Midjourney와의 씨름을 통해 여러 방법 test 하면서 시행착오 겪음
캐릭터 일관성 유지 진행
기본 캐릭터 이미지로 선정한 이미지를 바탕으로 Variation, Remix, Rerun 등을 통해 이미지 증폭
기본 캐릭터 이미지를 character, style reference로 하여 옆면, 뒷면 등의 이미지를 뽑음
생성된 이미지 중에서 괜찮은 것들 중 수정 필요한 것들은 Edit 기능을 통해 수정 보완
Character pose sheet, Character facial expression sheet, Character item sheet라는 것을 알게 되어서 시도해 봄
이렇게 뽑아져 나온 이미지들 중 기본 캐릭터 이미지와 유사도가 높은 것들만으로 이미지 reference 그룹을 구축
기획 장면별 이미지 생성
일반적인 콘서트 시작과 진행 순서를 따름
콘서트 전체 장면은 아이유 콘서트 공연 장면 벤치마킹 (콘서트 잘 안가봐서 감이 없어서 그리고 아이유 좋아해서 이미지 구도 reference 용으로 벤치마킹함)
Midjourney에서 생성한 기본 캐릭터를 활용해 장면별 이미지 제작
영상 생성 🎥
Kling AI, Hailuo AI를 이용해 영상 제작 (무료를 다 써서 유료 플랜 사용)
각각의 사용법 익히고, 특성도 파악하게 됨
5초 정도의 움직임을 만들어내는 것이므로 프롬프트는 현재형으로 짧게 주는 것이 효과적이라고 판단됨 (ex: She walks.)
그리고 카메라 움직임, 앵글 각도 등에 대해서 알아두면 더 영상을 잘 만들 수 있음( ChatGPT에게 물어보면서 공부하면 됨)
각각의 장단점이 있어서 어느 것이 더 낫다라 판단하기 어려웠음
어떨 때는 정말 멋지게 영상을 만들어주고, 어떤 경우에는 말도 안되는 영상을 만들어줌 (약간 복불복 느낌 있음)
둘 다 영상을 잘 만들어줄 때도 있고, error가 날 때도 있었음 (팔이 3개라던지, 갑자기 2개의 마이크가 된다던지, 얼굴이 일그러진다던지 등등)
오류 발생 빈도가 40~50%는 되는 것 같음
둘 다 약간은 중국 감성, 중국 느낌이 좀 있는 것 같았음
뮤직 생성 🎤 🎵
Suno AI를 활용해 K-pop 스타일의 곡 제작
14기 작사작곡 스터디 들어가서 Suno 공부 좀 함 (유성민님 글 많이 참조함!)
배운 것들을 바탕으로 여러 test 해 보면서 노래를 뽑음
ChatGPT에게 여자친구 ‘오늘부터 우리는’ 노래 가사 주고 분석 시킨 후, 20대 여성의 첫사랑을 주제로 노래 가사를 뽑음
전혀 모르는 음악 공부를 좀 하면서 Suno에 가서 여러 프롬프트 주고, 설정 바꾸어가면서 노래를 뽑아봄
막귀라 잘은 몰라도 마음에 드는 노래를 선정
(근데 Suno는 뽑아주는 노래가 듣다 보면 대부분 비슷한 것 같다는 느낌이…..)선정된 노래를 Remaster, Crop하여 원하는 형태로 노래를 만들고 저장
편집 ✂
Capcut을 한 번 써봤는데, filmora 얘기가 많아서 새롭게 filmora에 도전함
Filmora를 활용해 최종 편집 진행 (써보니 Capcut과 사용법 거의 유사함)
영상 편집 초보가 느끼기에는 아직 몰라서 둘 다 비슷하고 특별히 뭐가 더 좋은지는 모르겠음
영상, 이미지, 음악을 자연스럽게 조합하여 뮤직비디오 완성
영상과 음악만이 아니라 영상 만들 때, 이미지도 넣어서 같이 혼합해서 만들 수 있다는 것을 알게 되었음
🎨 캐릭터 디자인 & 이미지 생성
🔍 캐릭터 일관성 유지, 과연 가능할까?
Midjourney를 활용해 원하는 스타일의 캐릭터를 생성했지만, 일관성을 유지하는 것이 가장 큰 도전이었습니다. 이를 해결하기 위해:
기본 캐릭터 이미지를 선정 후 Variation, Remix, Rerun 기능 활용
특정 스타일과 캐릭터 특징을 유지하도록 기본 이미지를 Character/Style Reference 설정하여 이미지를 계속 뽑아봄
reference주면서도 더 철저하게 하고 싶어서 --sw 1000 --iw 3 파라미터 붙여가면서 최대한 일관성 유지하려고 노력
선택한 이미지 중 일부를 Edit 기능으로 수정하여 이미지 일관성 유지
하지만 여전히 90% 이상의 일관성을 유지하는 것은 쉽지 않았습니다. 😢
인물 얼굴은 어느 정도 유지되는 것 같았지만 화려하고 스타일 있는 의상이라 복장의 일관성 유지가 더 어려웠던 것 같네요
🎯 최종 결과물
용량이 커서 올리지 못하는 관계로 네이버 Mybox에 영상 올린 후 링크 첨부합니다.
(122MB인데 게시판은 50MB가 최대용량이네요)
✅ 성공한 점
AI를 활용해 처음부터 끝까지 K-pop 스타일의 뮤직비디오를 제작했다는 점에서 의미 있는 도전!
영상과 음악을 조합해 나름의 감성을 표현할 수 있었음
❌ 아쉬운 점
캐릭터의 일관성을 90% 이상 유지하지 못한 점
영상 및 이미지의 감성적인 퀄리티를 좀 더 업그레이드할 필요성
20대의 상큼한 감성 표현하지 못한 점(가능할까요? 🥲 😅 )
O_O 질문 사항 (스터디장님, 고수 분들 도와주세요)
의상까지 동일한 캐릭터 일관성을 확보하기 위해 어떤 방법을 사용하는 것이 최적인지?
Moodboard 구성을 잘 하는 방법은?
처음 기본 캐릭터 이미지 설정을 하는 최적의 방법은?
Character sheet 잘 만드는 방법과 만든 후 활용 방법은?
📌 마무리
AI로 K-pop 스타일의 뮤직비디오를 제작하는 과정은 쉽지 않았지만, 다양한 시도를 하면서 많은 것을 배웠습니다. 캐릭터 일관성 문제, 영상 생성 오류 등 해결해야 할 과제가 많지만, 다음 번에는 더욱 발전된 퀄리티로 도전할 예정입니다. 🎶✨
혹시 AI 기반 뮤직비디오 제작에 관심이 있다면, 여러분도 한 번 도전해 보세요! 😉
도움 받은 글 (옵션)
스터디장 JayKim님의 조언과 Tip
IU 'Shopper' Live Clip (2024 IU HEREH WORLD TOUR CONCERT IN SEOUL)
Consistent Character Control in Midjourney (Including Multiple Characters) <-- 여기 내용 좀 어렵긴 한데 좋은 것 같아요, 많이들 보시면 좋을 듯!
미드저니, 2명 이상 캐릭터 일관성 있게 만드는 방법. 쉬워요!! <-- 여기 내용과 이 채널의 내용들이 도움 되는 것 같아요, 많이들 보시면 좋을 듯!
캐릭터의 다양한 포즈,표정 만드는 방법 / 캐릭터 시트 Character sheet
SUNO AI 작곡 실전 꿀팁 <-- 잔마왕님 출연 ㅎㅎ