Intro
이미지와 영상을 만드는 법에 관해 Youtube 영상들과 Gpters 스터디 등에서 이것 저것 주워 들은 것들이 있었으나 단편적으로만 실습해보고 실제 처음부터 끝까지 제대로 실행해 본 적이 없어서 이론과 실행의 gap을 줄이고자 단편 영상을 제작해 보기로 함
13기 영상프로토타입 글들을 읽으면서 벤치마킹을 하다가 김이언님의 베스트 사례 발표를 보고 role model이다라는 생각이 들어서 바로 따라하기로 함
(Special thanks to 김이언님)
Goals
영상 기획 익히기
영상 제작의 workflow 익히기
이미지/영상/음악/편집 AI Tools 익히기
이미지/영상/음악/편집 관련 경험을 통해 노하우 익히기
이미지/영상/음악/편집 관련 각종 용어, 기법 익히기
Workflow
(철저히 김이언님의 workflow를 따라갔습니다.)
영상 기획 → 스토리보드 작성 → 이미지 생성을 위한 프롬프트 작성 → 이미지 생성 → 영상 생성 → 음악 생성 → 편집 → 완성
영상 기획 및 스토리보드 작성이 제일 중요하다는 것에 동의하고 이 부분이 제일 어려운 부분이라는 생각이 들었습니다.
하지만 이번 시도에서는 일단 한 번 전체를 돌려보는 게 중요해서 영상 기획 및 스토리 보드 작성은 김이언님의 Christmas gift 영상에 철저하게 기반해서 진행했습니다.
영상 기획+스토리보드 작성
김이언님 기획을 그대로 가져다 사용했습니다.
제가 느낀 점은 이런 창의성이나 감성은 제가 약한 부분이라 쉽지 않은 영역이라는 점이었고, 영상 제작 기법을 익히고 익숙해진다면 기획이 제일 중요한 부분일 것이라는 점이었습니다. 영상 제작 기법이야 노가다 성격이 있으니 value가 아주 높다고 보기는 어려울 것이니 기획과 스토리보드가 가장 value가 있다라는 생각입니다.
이에 기반해서 스토리보드를 작성했는데 아주 좋지는 않아서
김이언님 영상의 첫 화면을 캡처해서 ChatGPT에게 다시 주고 이러한 분위가와 느낌으로 다시 작성해달라고 해서 수정된 스토리보드를 만들었습니다.
이에 기반해서 작업을 시작했지만 작업 중간 중간에 마음에 안드는 부분들은 제가 다시 스토리 보드를 수정하면서 작업을 진행했습니다.
이미지 생성을 위한 프롬프트 작성
일관성 있는 이미지 생성이 중요하다라고 생각해서 스토리와 장면 이미지를 일관되게 만들면 되지 않을까 해서 일관성을 주입식으로 ChatGPT에게 강조하면서 이미지 프롬프트를 뽑아봤습니다. 하지만 막상 이미지 생성을 해보니 이미지 AI가 약간은 random으로 이미지를 만들다 보니 스토리와 장면, 이미지 프롬프트를 일관되게 뽑는 게 별 의미가 없다는 점을 깨달았습니다.
오히려 영상 기획에서 생각한 영상의 목적과 스토리보드를 통해 얻은 영상의 전체 장면들과 느낌, 분위기를 작업을 통해서 계속 다듬으면서 그 부분을 머리 속에 넣고
그에 따라 이미지를 그리고 영상을 만들어 내는 것이 중요하고 현실성 있는 일이라는 점을 깨달았습니다.
결과적으로 타겟팅한 이미지는 (철저히 김이언 님 영상 내용을 따라했습니다.)
오프팅의 음산한 까마귀
길가의 미스테리한 박스
상자에 다가가는 두 팔
상자 안의 4개의 컵케이크
컵케이크가 아기 용으로 변신
아기 용이 불꽃을 뿜음
아기 용이 웃음
여자 주인공이 아기 용과 얼굴을 맞대고 교감
이미지 생성을 위해서는 Midjourney를 주로 사용했습니다.(사용해보려고 1달 결제까지 했네요)
덕분에 Midjourney 사용법도 어느 정도 익혔고, 예전과 달리 파라미터 값들을 user가 일일이 손으로 쓰지 않아도 쉽게 적용할 수 있도록 시스템이 발전해 있더군요. 그래도 ChatGPT에게 물어가면서 Midjourney에서 사용되는 주요 파라미터들을 익혔습니다.
이런 식으로 프롬프트를 만들어 갔고, 생성된 이미지를 보면서 제가 원하는 이미지를 얻기 위해 프롬프트를 다시 만들면서 원하는 느낌의 이미지가 나올 때까지 계속된 반복 작업을 수행했습니다. 손이 3개, 4개 나오는 경우 등등 여러 말도 안되는 이미지도 나와서 고생 좀 했습니다.
그리고 여러 방식으로 도전해 보면서 refenence를 주면서 원하는 이미지를 얻는 것이 가장 효율적이라는 점을 깨달았고, reference 주는 방식도 여러 방법을 익혔습니다.
또한, 14기 영상 프로토타입 소개 talk에 참여했다가 14기 영상 프로토타입 JayKim(김진석) 스터디장님께 배운 Midjourney에서 Moodboard를 이용한 일관성 있는 이미지 생성도 연습해 보면서 익혀보니 Moodboard 기능 활용하면 아주 좋다라는 점도 배웠습니다. 14기 영상 프로토타입 스터디도 너무 좋을 것 같아요!!!
이미지 생성
고생고생해서 얻은 이미지들 예시입니다.
김이언님 따라쟁이 인지라 이미지도 최대한 비슷하게 뽑았습니다. ^^
영상 생성
이미지 생성을 위해서는 Kling과 Hailuo를 주로 사용했고, stablevideo.com이라는 것도 약간 사용했습니다. Runway라는 것을 써 보고 싶었으나 일단 무료로 사용할 수 있는 한도 내에서 진행해봤습니다. (무료를 거의 소진한 상태라 다음에는 Runway 결제하고 사용해 볼 생각입니다.)
카메라 앵글과 움직임 등도 배웠고, reference 이미지와 프롬프트를 어떻게 달리 주느냐에 따라 어떠한 영상이 생성되는지도 약간은 감을 잡을 수 있는 경험이었습니다.
그리고 영상 생성 AI마다 방식이 조금 다른데, 이미지 하나를 주고 starting point로 삼아서 영상을 생성하는 Hailuo와 stablevideo가 오히려 더 편하다는 느낌이었고, starting image와 ending image 2개를 주고 영상을 생성하는 Kling은 두 이미지의 일관성이 확보되어야 영상 생성이 좀 더 수월하다는 느낌이었습니다.
무료 플랜이라 사용자가 몰리면 계속 순번이 밀려서 490m, 780m, 9890m 등의 대기 시간을 받아서 답답했습니다. 특히 주말에 사용자가 몰리는 느낌입니다. 평일에는 8m, 12m 등으로 양호했는데....
reference image를 주고 프롬프트를 줄 때 프롬프트를 길고 복잡하게 주면 오히려 영상 생성이 잘 안되는 느낌입니다. 오히려 프롬프트를 아주 짧게 내가 원하는 동작만 주는 게 훨씬 더 영상 생성이 잘 됐습니다.
14기 Sora부터 Canvas까지: 나만의 OpenAI Workflow 만들기 talk에 참여했다가 민트베어 스터디장님께 들었던 몇 가지 tip들과 공유해주신 Gen-3 prompt guide 등의 글을 읽어보고 영상 생성 시 참고했습니다. 14기 Sora부터 Canvas까지: 나만의 OpenAI Workflow 만들기 study도 좋을 것 같아요!!!
음악 생성
음악 생성을 위해 Udio를 사용했습니다. (원래는 Suno 2개월 무료 가입되어서 Suno 사용법을 좀 익혔는데 김이언님 따라쟁이라 안 써본것 써보자 해서 Udio 사용했습니다.)
Suno나 Udio 둘 다 저는 비슷한 것 같다는 느낌이었고, 둘 다 괜찮은 것 같았습니다. 음알못이고 막귀라 Suno/Udio 둘 다 저는 괜찮은 것 같더라고요.
둘 다 사용법 그리 어렵지 않아서 금방 배울 수 있었고,
사용하면서 모르던 여러 음악 장르와 용어들에 대해서도 배웠습니다.
그 결과 배경음악 하나와 가사 들어간 노래 하나를 만들었습니다.
(김이언님이 왜 2개의 음악을 만들어 사용했는지 알겠더라고요. 영상 내용상 분위기가 반전 내지는 전환되는 거라 그리하신 거라는.....)
편집
편집 도구로는 Capcut을 사용했습니다.
덕분에 Capcut 사용법도 어느 정도 익혔고, 편집 용어, 편집 기술 등도 입문했습니다.
완성 및 결과물
결과와 배운 점
엄청난 노가다성 작업이네요(시간과 노력을 갈아넣어야 하는), AI 가 더 발전하면 좀 더 수월해지겠죠? (full은 아니지만 3일 정도 걸렸습니다.)
역시 이론과 실전은 다르다. 실행을 계속 해서 실행력을 높이는 것이 중요하다.
영상의 기획력이 무엇보다 중요하다
김이언님은 아주 좋은 Role model이다. 김이언님 만세! 😍
다음에는 김이언님의 '애니메이션 예고편 "Shadow Cipher" 제작기' 를 따라해볼까 생각중입니다. (괜찮겠죠? ㅎㅎ)
도움 받은 글 (옵션)
스토리가 있는 짧은 영상 "Christmas Gift" 제작기 (by 13기 영상프로토타입 김이언)
