🕺 들어가며
이번 주 우리 스터디의 주제는 "일관성 있는 영상을 위한 일관성 있는 이미지 생성하기"였어요.
일단 저의 결과는 "일관성은 고양이가 물어간 영상"입니다...
책상에 호박 모자를 쓰고있는 고양이
(제 일관성을 물고 도망간 범묘(라고 누명 쓴) 팅키)
타 스터디에서 '5분 만에 광고 만들기' 강의를 듣고 광고에 꽂혀서 알고리즘의 바다에서 발견한
CG하나도 안 썼다는 일본 포카리 광고!!
좋아! 나는 이걸 순수 AI로 만들어보겠어!!
💁🏻♂️ 사용한 툴
- 스토리보드 : 구글 스프레드 시트
- 프롬프트 작성 및 기타 등등 : 챗GPT
- 이미지 생성 : Dreamina, ImageFX (teenager, girl, young 등의 단어에 생성을 거부함)
- 비디오 생성 : Kling, Luma
- 편집 : Capcut
🚴🏼♀️제작 과정
1️⃣ 스토리보드& 이미지 프롬프트
광고 만들기에서 배운 대로 스토리보드를 만들어 보...다가 맙니다.
(별거 없지만 구경하실 분은 요기 👉 쓰다만 스토리보드 )
AI로 무에서 유를 만들어 내는 건 말로 시키면 되는데,
영상으로 만들어진 걸 AI에게 학습을 시키려니 잘 못 읽더라고요 😭
그래서 변화가 생기는 컷마다(거의 2초 단위...) 스샷을 찍어서 이미지를 읽어서 프롬프트를 작성하라고 시켰습니다.
다음에 주는 사진을 참고해서 이미지 생성 AI에게 요청할 영문 프롬프트를 작성해줘.
사진이 많아서 나눠서 보내줄테니까 줄때마다 영문 프롬프트를 작성하고, 한글 해석을 추가해줘
한국 TV 쇼의 스크린 샷
기특하게도 전체 분위기를 파악한 거 같아요! (역쉬 똑똑해 G씨!!)
잘 파악했으니 스타일도 정해달라 합니다.
한국어 문자 메시지의 스크린 샷
웹 사이트의 한국어 스크린 샷
오~ 웨스 앤더슨 스타일 좋네요!
이대로 가봅니다!! 레고레고~~
한국어 텍스트가있는 검은 색 화면
2️⃣ 이미지 생성
크~ 소스 블록 떠올린 나 칭찬해 ㅋㅋㅋ 복붙이 편해졌어요!
한번 이미지 만들어 볼까?
Dreamina로 가봅니다~ 이름도 좋자나요~ 드리미나~~ 꿈꾸나~~~
어? 어어???
2범 프롬프트부터 제대로 못 만들기 시작.
도시를 통해 자전거를 타는 남자를 보여주는 비디오
(👈원래 만 들어야하는 이미지)
(👇실제 만들어낸 결과물)
도시의 다른 사진을 보여주는 웹 페이지의 스크린 샷
아까 찍어둔 스샷으로 '테두리 참조' -> 스타일이 달라져 버림 🤯
'뎁스 참조' -> 주인공이 자꾸 바뀜 😡
실사로 가보려 했더니 배경이 계속 바뀌고, 차 색깔이랑 모양이 바뀌고, 주인공 스타일이 바뀌고...
난리브루스가 납니다.
소녀와 로봇의 픽셀 아트 일러스트
(챗GPT가 만들어준 난리브루스 환장 gif)
하- 역시 실사는 어려워.. 애니로 다시 돌립니다.
어이~ 지씨, 스타일 프롬프트 좀 바꿉시다~ 바꾸는 김에 주인공 복장도 좀 통일하고.
그렇게 탄생한 Wes Anderson 스타일 + 수채 스케치 스타일 + 실사 기반 + 통일된 복장
검은 배경에 한국어 텍스트
복붙복붙 고치고 만들고 파고파고....
아니 근데! 얼굴 나오는 거 몇 장면 없는데, 얼굴 참조해도 다 달라져.
스타일 프롬프트 통일했는데, 자세히 보니 조금씩 달랐고, 생성한 것도 실사-애니 사이를 왔다갔다 하면서 달라져. 여주 복장 계속 달라져. 목 돌아감, 팔 돌아감, 다리 꺾임...
입 아프니 삽질의 결과물을 영상으로 보여드릴게요.
3️⃣ 비디오 생성
도저히 캡처한 25개 이미지를 만들 기력이 없읍니다. 🥴
적당히 스토리만 만들어지게 14개 정도로 쇼부~
프레임 기반으로 Kling과 Luma를 동시에 돌립니다.
자자~ 누가누가 잘하나~~~ 업치락 뒤치락~
최종선택 결과는~~~~
클링 4개! 루마 11개!! 루마 승~~!!!!
비디오 연결해 보니.. 일관성 진짜 1도 없습니다. 🤦
포기하고 편집까지 끝냈는데,
옆에서 보던 남펴니가 웃습니다 ㅋㅋㅋㅋㅋ 다른 사람이네 ㅋㅋㅋㅋ
서로 껴안는 두 명의 한국 곰의 그림
이미 이 시점에서 주말을 보내고 베스트 발표까지 끝낸 오밤중이지만,
수정합니다 😭😭😭 최소한 단발머리가 긴 머리가 되지 않도록..
최소한 여고생의 치마 속이 보이지 않도록...
이미지를 바꾸니 연결된 비디오도 바꿔야지요오......
‼️ 여기서 한 가지!
베스트 발표 하셨던 명훈님의 팁으로 클링에 딥시크 기능을 써봤어요!
프롬프트를 딥시크가 잘 다듬어주고, 그걸로 Luma에 붙였더니 훨~씬 좋아지는 느낌적인 느낌!!
하... 진작에 써볼껄.. ㅠㅠ
4️⃣ 최최최최최최종
캡컷으로 편집. 업로드. 사례글 작성. 끝.
(긴 말 쓰기도 지쳤음 )
결과 💨
결과가 봐줄만하다고 느끼신다면, 그거슨 편집빨. 혹은 아름다운 마음과 눈을 가지신 분
🤦 깨달은 점
- 차라리 밖에 나가서 찍는게 빠르겠..... 아니아니, 이게 아니고. 😖
촬영만큼이나 AI로 영상 만드는 것은 노가다....
- 일관성은 역시 어렵다. 캐릭터건, 스타일이건.. (미드저니가 강력크하게 부른다ㅏㅏㅏㅏ)
- 챗GPT도 다른 AI와 소통하기 힘들겠다.. 자세히 보니 프롬프트가 그지... 아니아니,
GPT가 만든 프롬프트 다 믿지 말고 꼼꼼히 수정하자.
- 잘하려면 디테일하게 프롬프트도 잘 다듬고, 스타일도 잘 찾아보고, 주제도 꼼꼼하게 생각하고, 시간도 충분히 갖고 많-이 만들어 보고, 만들어본거 뜯어보고, 다시 해보고, 남들 어케 했나 살펴보고, 다른 종류의 툴도 넘나들면서 써보고, 사례 열심히 따라하고...... 😭😭😭
🛀 에필로그
나는 언제쯤.. 인텔리 느낌 풍기며 사례글을 쓰려나~~~
삽질한 거 주저리주저리 쓰는거 언제 그만하려나~~~~
울 스터 디장님은 뚝딱하면 샤바방~~하던데... 따라하는 나는 그냥 뚝딱거리기만 하네~~~
