AI 문외한의 강아지 쇼츠 제작 도전기: 씬 1개 만들기도 쉽지 않았다 🐶🎬

소개

시도하고자 했던 것과 그 이유를 알려주세요.

처음부터 거창한 영상을 만들 생각은 아니었다.
우선 AI 도구들을 활용해서 “짧은 유튜브 쇼츠 영상 하나를 실제로 만들 수 있을까?”를 확인해보고 싶었다.

그래서 주제로 선택한 것이 귀여운 강아지 쇼츠 영상이었다.
강아지는 누구나 쉽게 이해하고 공감할 수 있는 소재이고, 짧은 장면만으로도 귀여움이나 감정을 전달하기 좋다고 생각했다. 영상 제작을 처음 실험하는 입장에서도 사람 캐릭터나 복잡한 배경보다 훨씬 접근하기 쉬운 대상이라고 느꼈다.

또 쇼츠 영상은 긴 영상처럼 복잡한 구성이나 많은 장면이 필요하지 않기 때문에, AI 이미지 생성과 영상 생성 도구를 연결해보는 첫 실험으로 적합하다고 생각했다.

이번 시도의 목적은 완성도 높은 영상을 바로 만드는 것이 아니라,
안티그래비티로 캐릭터와 세계관을 잡고, 제미나이로 이미지를 만들고, Flow로 짧은 영상까지 이어지는 과정을 직접 경험해보는 것이었다.

진행 방법

이번 작업은 하나의 쇼츠 영상을 완성하기보다, AI 도구들을 연결해서 캐릭터 설정 → 이미지 생성 → 짧은 영상 생성까지 이어지는 흐름을 직접 경험해보는 방식으로 진행했다.

처음부터 여러 장면을 만들기보다는, 우선 에피소드 1의 첫 번째 장면인 “후킹 — 벌러덩 낮잠” 씬 1개만 만들어보는 것을 목표로 했다.

1. 안티그래비티로 캐릭터와 세계관 구성하기

먼저 안티그래비티를 활용해서 쇼츠 영상의 기본이 되는 캐릭터와 세계관을 잡았다.

이번 영상의 주인공은 귀여운 강아지 캐릭터 “백설기”로 설정했다.
짧은 쇼츠 영상이기 때문에 복잡한 사건보다는, 강아지의 귀여운 행동과 짧은 대사를 중심으로 장면을 구성하고자 했다.

안티그래비티에서는 에피소드 1의 첫 장면을 다음과 같이 구성했다.

- 에피소드: 에피소드 1
- 첫 번째 씬: 후킹 — 벌러덩 낮잠
- 장면 콘셉트: 햇살이 비추는 거실 바닥에 강아지가 편하게 누워 있는 장면
- 대사: “언니, 많이 바빠멍?”
- 목표: 귀여운 강아지 쇼츠 영상의 첫 장면 만들기

2. 제미나이로 첫 장면 이미지 생성하기

캐릭터와 장면 설정을 잡은 뒤에는 제미나이를 활용해서 첫 번째 씬 이미지를 생성했다.

이미지를 먼저 만든 이유는 이후 영상 생성 단계에서 이 이미지를 기반으로 움직임을 입히기 위해서였다.

안티그래비티에서 정리한 씬 보드의 이미지 프롬프트를 바탕으로,
강아지가 햇살 비추는 거실 바닥에 누워 있는 장면을 만들었다.

사용한 이미지 프롬프트는 아래와 같다.

귀여운 말티즈 강아지가 햇살 비추는 거실 바닥에 배를 보이고 편하게 누워있는 모습, 탑뷰, 따뜻한 톤

이미지를 생성할 때는 단순히 “강아지”라고만 입력하지 않고,
장면의 분위기가 잘 드러나도록 아래 요소를 함께 넣었다.

  • 귀여운 말티즈 강아지

  • 햇살이 비추는 거실

  • 배를 보이고 편하게 누운 자세

  • 탑뷰 시점

  • 따뜻한 톤

담요를 덮고 바닥에 누워 있는 작은 흰색 개

3. Flow로 짧은 영상 만들기

이미지 생성이 끝난 뒤에는 Flow를 활용해서 정지 이미지를 짧은 영상으로 변환했다.

복잡한 움직임보다는, 강아지가 편하게 누워 쉬고 있는 느낌을 살리기 위해 아주 미세한 움직임만 넣었다.

사용한 영상 프롬프트는 아래와 같다.

정지 상태에서 배가 오르락내리락하는 미세한 호흡, 느리게 눈을 깜빡임.

영상 AI 도구에서 더 잘 인식될 수 있도록 영어 프롬프트도 함께 준비했다.

Subtle breathing with the belly slowly rising and falling from a resting position, blinking slowly.

이 프롬프트의 핵심은 강아지를 크게 움직이게 하는 것이 아니라,
“살아 있는 것처럼 보이는 작은 움직임”을 추가하는 것이었다.

4. 음성 파일 추가 시도하기

원래 계획은 첫 번째 씬에 백설기의 목소리도 넣는 것이었다.

첫 번째 씬에서 사용할 대사는 아래와 같았다.

언니, 많이 바빠멍?

이 대사를 귀여운 강아지 느낌의 목소리로 만들고 싶어서, Flow 또는 별도의 TTS 도구를 활용하는 방법을 고민했다.

목소리 톤을 잡기 위해 참고한 방향은 다음과 같았다.

귀여운 강아지 느낌에 어울리는 목소리 톤

프롬프트로 목소리 스타일을 지정해야 하는 도구를 사용할 경우에는 아래와 같은 영어 설명을 활용할 수 있었다.

A cute, high-pitched, energetic, and innocent voice of a small puppy, speaking in a very friendly and adorable tone.

다만 이번 작업에서는 이미지와 영상까지는 만들었지만, 음성 파일까지 실제로 넣지는 못했다.

처음에는 음성도 금방 만들 수 있을 거라고 생각했지만, 막상 해보니 어떤 목소리 톤을 선택해야 하는지, Flow에서 바로 가능한지, 별도의 TTS 도구를 써야 하는지 판단하는 과정이 생각보다 어려웠다.

그래서 이번 씬 1 작업에서는 음성 파일은 다음 단계 과제로 남겨두었다.

5. 정리한 작업 흐름

이번 씬 1 제작 흐름을 정리하면 다음과 같다.

  1. 안티그래비티에서 캐릭터와 세계관을 설정했다.

  2. 에피소드 1의 첫 장면을 “후킹 — 벌러덩 낮잠”으로 구성했다.

  3. 제미나이로 첫 장면 이미지를 생성했다.

  4. 생성한 이미지를 바탕으로 Flow에서 짧은 영상을 만들었다.

  5. 음성 파일도 추가하려고 했지만, 이번에는 실제로 넣지 못했다.

  6. 결과적으로 이미지와 영상까지 완성된 씬 1개를 만드는 데 집중했다.

결과와 배운 점

이번 과정을 통해 AI 영상 제작은 단순히 프롬프트 하나로 끝나는 작업이 아니라는 것을 알게 되었다.
캐릭터 설정, 이미지 생성, 영상 생성, 음성 추가처럼 각 단계마다 필요한 도구와 역할이 다르고, 그 결과물을 하나씩 이어 붙이는 과정이 중요했다.

처음에는 “AI 도구를 활용하면 쇼츠 영상 하나 정도는 금방 만들 수 있지 않을까?”라고 생각했다.
하지만 실제로 해보니 생각보다 막히는 지점이 많았다.

과정 중 겪었던 시행착오

가장 어려웠던 점은 내가 AI 도구에 익숙하지 않은 상태였다는 것이다.
어떤 도구를 어떤 단계에서 써야 하는지, 프롬프트는 어떻게 작성해야 하는지, TTS 같은 용어가 정확히 무엇을 의미하는지도 잘 모르는 상태에서 시작했다.

그래서 거의 모든 단계가 낯설게 느껴졌다.

예를 들어, 안티그래비티를 통해 캐릭터 설정과 세계관을 잡고, 제미나이로 이미지를 만들고, Flow로 영상을 만드는 흐름까지는 따라가려고 했지만, 각 도구마다 사용 방식이 달라서 단계마다 멈칫하게 되었다.

특히 Flow를 사용할 때는 이미지 제작이 바로 되지 않거나, 원하는 방식으로 결과물이 나오지 않아 당황했다. 오류가 났을 때도 이것이 도구의 문제인지, 내가 프롬프트를 잘못 입력한 것인지, 아니면 사용 방법을 모르는 것인지 판단하기 어려웠다.

또 하나 어려웠던 점은 스터디 진행 속도를 따라가는 부분이었다.
다른 스터디원들은 다음 단계로 넘어가고 있는데, 나는 앞 단계에서 막혀 있다 보니 진도가 맞지 않았다. 그러다 보니 다음 설명을 놓치거나, 어떤 단계를 건너뛴 것처럼 느껴져 더 헷갈리는 순간도 있었다.

결국 이번 작업에서는 씬 1개를 기준으로 이미지와 짧은 영상까지는 만들어봤지만, 음성 파일까지는 넣지 못했다.
원래는 백설기 캐릭터가 “언니, 많이 바빠멍?”이라고 말하는 귀여운 강아지 목소리까지 넣고 싶었지만, 어떤 음성 도구를 써야 하는지, 목소리 톤은 어떻게 골라야 하는지, 생성한 음성을 영상에 어떻게 붙여야 하는지까지는 아직 더 학습이 필요했다.

도움이 필요한 부분

앞으로 더 학습이 필요한 부분은 영상에 자막이나 음성을 넣는 과정이다.

이번에는 이미지와 영상까지는 만들어봤지만, 음성 파일을 실제 영상에 넣는 단계까지는 진행하지 못했다. 특히 캐릭터에 어울리는 목소리를 고르는 방법, 대사를 자연스럽게 생성하는 방법, 생성한 음성을 영상에 맞춰 넣는 방법을 다시 배워야겠다고 느꼈다.

또한 쇼츠 영상에서는 자막도 중요하기 때문에, 음성과 함께 자막을 어떻게 넣으면 더 보기 좋은지도 추가로 학습해보고 싶다.

앞으로의 계획

이번에는 에피소드 1의 첫 번째 씬만 만들어봤지만, 앞으로는 씬을 5~6개 정도 더 만들어서 하나의 완성된 영상으로 제작해보는 것이 목표다.

다음에는 이미지와 영상뿐만 아니라, 음성 파일과 자막까지 함께 넣어서 조금 더 완성도 있는 결과물을 만들어보고 싶다.

이번 시도는 완성작이라기보다는 첫 실험에 가까웠지만, AI 도구들을 어떻게 연결해서 영상 제작 흐름을 만들 수 있는지 경험해본 것만으로도 의미가 있었다.

도움 받은 글 (옵션)

1
밀어주고 끌어주는

온·오프라인 AI 스터디

AI로 어디까지 할 수 있는지
직접 확인하실 분만 신청하세요.