소개
처음에 하고 싶었던 작업은 평소 좋아하던 음악의 뮤직비디오를 만들어서 싱크를 맞춰서 영상화하는 작업이었습니다. 하지만 미드저니와 클링을 처음 다뤄보는 입장에서 구현하려고 구상한 계획이 너무 오래걸리고 어렵다고 여겨져서, 횡스크롤 형식을 접목하려던 아이디어만 가져와서 연습해보고자 했습니다.
그래서 소설의 한 장면을 영상화로 구현해보고자 했고, 좋아하는 소설인 '데미안'의 한 시퀀스를 간단한 영상화 하기로 결정했습니다.
진행 방법
계획 단계에서
씬 구성과 그림체 레퍼런스 찾기
횡스크롤의 특성을 체크해서 접목하기
'chat GPT'와 '미드저니'를 사용해서 이미지 뽑아내기
'kling'을 활용해서 영상화하기
편집툴을 사용해서 영상 편집
으로 진행 단계를 계획했습니다.
씬 구성을 나누고, chat gpt 에 먼저 씬 구성과 개체들을 어떻게 표현하면 좋을지 자문하며 진행했습니다.
스타일을 '독일 표현주의 스타일'을 예시와 함께 추천 받았고,
이 그림체를 사용하기로 결정했습니다.
'데미안'에서 선악을 초월한 신으로 나오는 '아브락서스'라는 존재에 대한 표현 방식도 4가지를 추천받아서 최종적으로
이 형체를 선택하였고, 알에서 나오는 실루엣이 동일한 구 형태를 지닌 아브락서스로 진화하는 느낌을 줄 수 있다고 생각했습니다.
그림체를 통일하기 위해서 미드저니에 --cw 값과 --sref 값을 사용해서
이런 결과물을 뽑아냈습니다.
이후 동일한 흑백톤과 몽환적인 느낌을 주는 둥지안의 알, 알 속의 얼굴을 표현하기 위해서
미드저니를 통해서 스타일과 그림체로 변경하는 과정이 오래걸렸습니다.
무드보드 내부 예시가 미흡해서 스타일 레퍼런스를 통해서
최종적으로 이 그림을 뽑아냈습니다.
하지만, 여기까지 진행하는 과정도 시간이 오래걸리고, 클링을 통해서 영상화를 구현하는 것도 원하는 방향으로 진행이 어려울 것이라고 판단되어, 혼란스러운 눈과 밤거리를 이동하는 남성의 영상 구현까지를 목표로 잡았습니다.
결과와 배운 점
생각보다 영상화까지 시간이 오래걸린다는 점과 아직 미숙한 스킬로 서칭 단계와 계획 단계에서 시간을 오래 쓴 것이 아쉬웠습니다.
또한 디테일한 부분을 잡으려면 아직은 다양한 툴과 숙련도가 필요한 것이 느껴졌습니다.
그래도 미드저니를 활용하는 것이 점점 익숙해지고, 직접 뽑아낸 이미지를 영상화로 하는 것에 타이핑만 필요하다는 점이 계속 크게 와닿았습니다.