아들이 상상한 하늘을 나는 자동차 이야기 AI로 영상만들기

소개

• 숫자, 우주, 자동차를 좋아하는
  5살짜리 아들이 자신의 이야기를 들어보겠냐면서 몇문장으로된 짧은 이야기를 들려주었다.

  • 과거에도 이런식으로 아이가 상상하여 뱉어낸 말을 이용해
    종이를 자르고 손그림을 그려 그림책으로 만들어 준적이 있었는데

    

    ALT

    옆에 한글이 적힌 책

  

  ALT

  한글이 적힌 노트와 자동차 그림

  • 이번엔 "챗지피티"를 이용해서 자연스레 번역한 영어 문장과 "드리미나" 생성 이미지를 더해 인쇄한 후 좀 더 책다운 책을 선물해주었다.

    

    ALT

    우주에 있는 자동차의 그림이 담긴 책

    

    ALT

    자동차 그림이 담긴 책

• 그리고., 이번 스터디에 참여하면서 지피터스 사례로 만들어볼 영상의 스토리를 고민하다가,

• 아예 아이에게 아이가 상상한 내용으로 영상까지 선물해주고자

  이 이야기를 영상으로 만들어 보기로 한다.

  아이가 좋아할까?

• 아들이 들려준 13문장의 스토리 (스토리보드?)

  • (종이에서 튀어나온 파란 자동차가 우주여행을 하고 지구로 돌아오는 이야기)

  • 등장인물 : 하늘을 나는 파란 자동차, 소년, 가족

    1. 어느날 도화지에 그리던 파란 자동차가 실제 자동차로 변신했어요.

       

       ALT

       파란색 자동차 그림과 자동차 그림

    2. 자동차의 이름은 "쭌"이었고, 자동차는 파란색이었어요. 그리고 큰 눈이 있었어요.

    3. 자동차가 하늘로 올라가기 시작했어요. 소년은 자동차에게 잘 다녀와 라고 인사해줬어요.

       

       ALT

       도시 위를 날아다니는 파란 자동차 그림

    4. 자동차가 건물 5층 높이까지 올라갔어요. 사람들이 깜짝 놀라면서 자동차를 바라봤어요.

    5. 자동차가 건물 20층 높이까지 올라갔어요. 그곳엔 구름도 있었고, 새도 있었어요.

    6. 자동차는 더 올라가서 63빌딩보다 더 높이 올라갔어요. 아빠는 일을 하다가 창문으로 그 자동차가 올라가는 모습을 보았어요.

    7. 자동차는 마침내 지구 밖으로 나와 우주에 도착했어요. 우주는 깜깜하고 별이 아주 많았어요.

    8. 자동차는 금성과 수성을 지나 태양에 가깝게 도착했어요. 자동차는 태양이 너무 뜨거워서 눈물이 났어요.

       

       ALT

       길을 운전하는 자동차의 만화

    9. 그래서 자동차는 빨리 반대 방향인 화성 쪽으로 다시 빠르게 날아갔어요. 화성은 멋져보였어요.

    10. 그리고 자동차는 목성을 지나고 토성도 지나갔어요.

    11. 또 자동차는 천왕성을 지나서 해왕성에 도착했어요.

    12. 해왕성 옆에는 블랙홀이 있었는데, 자동차는 그곳으로 한번 들어가봤어요.

    13. 그랬더니 "뿅" 하면서 처음에 있었던 지구로 돌아왔답니다.

        

        ALT

        들판 위로 자동차가 날아가는 그림

진행 방법

• ‎​어떤 도구를 사용했고, 어떻게 활용하셨나요?

  • 이미지 생성용 프롬프트 생성시 챗지피티 활용

    

    ALT

    한국어로 된 텍스트 스크린샷

  • "미드저니"로 이미지 생성

    

    ALT

    어린 소년이 바닥에 장난감 자동차를 그리고 있다

  • 영상 생성용 프롬프트 생성시 챗지피티 활용

    

    ALT

    소년과 자동차 사진이 포함된 한국 앱의 스크린샷

    

    ALT

    텍스트가 있는 검은 화면

  • "런웨이"를 이용해 생성 이미지 비디오로 전환

    

    ALT

    책상 위에 장난감 자동차를 올려놓은 아이의 사진

  • SUNO를 사용하여 음악을 만든다. (가사 없이 Instrumental 선택)

    

    ALT

    우주여행을 꿈꾸는 테마

  • 필모라를 사용해 영상들을 연결한다.

    

    ALT

    어도비 프리미어 프로 cs6

결과와 배운 점

• 자동차의 모양과 색이 계속 바뀌고, 영상도 만화와 3D와 픽사를 오가며, 제각각이 었지만
  아이가 들려준 13문장의 스토리가 명확했기에 완성하는 걸 목표로

• 같은 장면에 대해 프롬프트와 원본 미드저니 이미지를 바꾸어 가며 여러번 반복적으로 생성해서 그나마 마음에 드는걸 선택하여 이어 붙였다.

https://youtu.be/RqgHSgdlzR0?si=18sgJPmQEdzSHyRM

• 배운점

  • 미드저니와 런웨이는 생각했던거보다 각각의 산출물이 멋지다.

    • 산출물이 좋을만큼 내가 만들고자하는 이미지, 구도, 카메라의 움직임이 머리속에 명확해야 한다는 생각이 들었다.

  • 런웨이에 프롬프트를 입력을 많이하면 미드저니 이미지의 영상화 과정에서 부자연스러움이 발생한다고 느껴졌다.

    • 카메라 방향이나 반드시 필요한 동작 위주로 간단히 입력하는 편이 오히려 결과가 좋았다(?)

  • 필모라 영상편집툴에는 효과음 생성 AI 기능이 있다.

    • 효과음이 필요할때 필모라 내부에서 내가 필요한 효과음의 내용을 입력하면
      묘하게 들어 맞는 소리를 만들어주었다.

      

      ALT

      한국어 앱 스크린샷

• 궁금한점

  • 자동차(주인공)의 일관성을 유지하는 방법을 정확히 알고 싶다.

    • seed를 입력하면 된다고 했는데, 온라인용 미드저니에서 이 부분을 찾지 못했다.

    • 이미지를 첨부하고 프롬프트를 추가하는 방식으로는 계속 다른 모양의 자동차가 생성되었다.

      

      ALT

      하늘을 나는 파란 자동차의 스크린샷

  • 마찬가지로 영상 스타일의 일관성을 위해 프롬프트에 필요한 작업이 궁금했다.

• 계획

  • 런웨이에서 이용되는 카메라 이동의 종류에 관한 공부를 해야겠다.

    • The camera lowers to the ground and tilts up revealing a low angle shot of [subject and subject details].

    • Telephoto close up: [subject]. 등등 무언가 많아 보였다.

  • 런웨이를 결제한 김에 스터디장님이 사례로 남겨주신
    ACT ONE을 직접 사용해봐야겠다.

도움 받은 글 (옵션)

• ‎​미드져니, gen3, kling으로 만드는 영상 프로토타입 스터디

• 이미지 생성 및 편집 기초 by 유니님

‎