AI 영상 제작, 생각보다 시작은 어렵지 않았다

소개

AI로 영상을 만든다는 이야기를 들을 때마다 신기하면서도 한편으로는 어렵게 느껴졌다.

영상 기획부터 이미지와 영상 생성, 자막 편집, 최종 업로드까지 생각하면 배워야 할 도구가 너무 많아 보였다. 특히 프롬프트를 어떻게 작성해야 원하는 결과가 나오는지 몰라서, AI 영상 제작은 나와는 조금 거리가 먼 분야라고 생각했다.

그러던 중 「AI 영상, 반복 제작 시스템으로 기획부터 업로드까지 파이프라인 굳히기」 스터디에 참여하게 되었다.

이번 스터디에서는 Vrew, Google Flow, Grok을 활용해 영상 제작에 필요한 프롬프트를 직접 작성하고 결과물을 만들어보는 실습을 진행했다.

처음부터 완성도 높은 영상을 만드는 것보다, 여러 도구를 직접 사용하며 AI 영상 제작의 전체 흐름을 경험해보는 것이 이번 실습의 가장 큰 목표였다.

진행 방법

1. 영상의 주제와 장면 구성하기

가장 먼저 어떤 영상을 만들지 간단한 주제를 정했다.

처음에는 한 문장만 입력하면 AI가 알아서 멋진 영상을 만들어줄 것이라고 생각했다. 하지만 실제로는 영상의 분위기와 등장인물, 배경, 카메라 움직임 등을 구체적으로 정할수록 원하는 결과에 가까워졌다.

영상 프롬프트에는 다음과 같은 내용을 넣어보았다.

  • 영상의 주제와 목적

  • 등장인물의 모습과 행동

  • 장소와 시간대

  • 전체적인 분위기

  • 카메라 구도와 움직임

  • 영상의 길이와 화면 비율

예를 들어 다음과 같은 형태로 프롬프트를 구성했다.

따뜻한 오후 햇살이 들어오는 카페에서
한 사람이 노트북으로 AI 영상 제작을 배우고 있다.

처음에는 어려워하지만,
점차 원하는 장면을 만들어내며 밝게 웃는다.

따뜻하고 희망적인 분위기,
자연스러운 카메라 이동,
시네마틱한 영상 스타일,
세로형 숏폼 영상 비율

처음 작성한 프롬프트는 표현이 추상적이어서 결과가 예상과 다르게 나오기도 했다.

그래서 한 번에 완벽한 문장을 만들려고 하기보다, 생성된 영상을 확인하면서 다음과 같이 조건을 하나씩 추가했다.

등장인물의 옷과 외형을 모든 장면에서 동일하게 유지한다.
카메라는 인물의 정면이 아니라 옆쪽에서 천천히 이동한다.
배경에는 다른 사람이 많이 등장하지 않도록 한다.
영상 전체의 색감은 따뜻한 오렌지 톤으로 유지한다.

이 과정에서 프롬프트는 정답을 한 번에 맞히는 문제가 아니라, 결과를 보며 계속 수정하는 작업이라는 점을 알게 되었다.

2. Grok으로 아이디어와 프롬프트 다듬기

영상의 주제는 정했지만, 장면을 어떻게 나누고 어떤 문장으로 표현해야 할지가 막막했다.

이때 Grok을 활용해 영상의 흐름과 장면별 프롬프트를 정리해보았다.

AI 영상 제작을 처음 배우는 사람의 이야기를
30초 분량의 숏폼 영상으로 만들고 싶어.

이야기를 5개의 장면으로 나누고,
각 장면의 화면 설명과 영상 생성 프롬프트를 작성해줘.

전체 분위기는 따뜻하고 희망적으로 구성해줘.

AI가 제안한 내용을 그대로 사용하는 대신, 내가 표현하고 싶은 이야기와 맞지 않는 부분은 수정했다.

특히 영상 전체를 한 번에 만들려고 했을 때보다, 다음과 같이 장면을 나누자 훨씬 작업하기 쉬웠다.

  1. AI 영상 제작을 어려워하는 장면

  2. 스터디에서 새로운 도구를 배우는 장면

  3. 직접 프롬프트를 입력하는 장면

  4. 예상과 다른 결과에 당황하는 장면

  5. 수정 끝에 결과물을 완성하는 장면

이 과정에서 Grok은 완성된 답을 대신 만들어주는 도구라기보다, 막연한 생각을 구체적인 작업 단위로 바꿔주는 도구에 가깝다고 느꼈다.

3. Google Flow로 장면 생성하기

정리한 프롬프트를 바탕으로 Google Flow에서 실제 영상 장면을 만들어보았다.

Google Flow는 텍스트나 이미지에서 영상 클립과 장면을 만들고, 스토리 흐름을 구성할 수 있도록 설계된 AI 영상 제작 도구다.

실제로 사용해보니 같은 프롬프트를 입력해도 매번 조금씩 다른 결과가 나왔다.

특히 다음과 같은 시행착오가 있었다.

  • 인물의 얼굴이나 옷이 장면마다 달라졌다.

  • 원하는 행동이 제대로 표현되지 않았다.

  • 카메라가 예상과 다른 방향으로 움직였다.

  • 배경의 사물이나 인물이 갑자기 변했다.

  • 한 장면에 너무 많은 내용을 넣으면 표현이 어색해졌다.

처음에는 결과가 다르게 나오면 프롬프트를 잘못 작성했다고 생각했다.

하지만 여러 번 시도하면서, 영상 생성에서는 긴 문장 하나보다 하나의 장면에 하나의 행동을 명확하게 작성하는 방식이 더 효과적이라는 것을 배웠다.

예를 들어 다음처럼 프롬프트를 단순하게 나눴다.

장면 1:
카페에 앉은 인물이 노트북 화면을 바라보며 고민한다.
카메라는 인물의 옆모습을 천천히 확대한다.

장면 2:
인물이 영상 생성 프롬프트를 입력한다.
손과 노트북 화면을 가까이 보여준다.

장면 3:
완성된 영상을 확인한 인물이 환하게 웃는다.
따뜻한 햇빛이 들어오며 희망적인 분위기를 만든다.

완벽한 영상을 한 번에 생성하려고 할 때는 부담이 컸지만, 짧은 장면을 하나씩 만드는 방식으로 접근하니 작업이 훨씬 수월해졌다.

4. Vrew로 영상 편집하기

생성한 장면들은 Vrew로 가져와 하나의 영상으로 연결했다.

Vrew는 텍스트 기반 편집, 자동 자막, AI 음성, 텍스트를 활용한 영상 제작 등의 기능을 제공하는 영상 편집 도구다.

영상 생성이 끝나면 작업이 거의 완료될 것이라고 생각했지만, 실제로는 편집 과정도 중요했다.

  • 장면의 순서를 조정했다.

  • 필요 없는 부분을 잘라냈다.

  • 장면 사이의 속도를 맞췄다.

  • 자막을 추가하고 문장을 짧게 다듬었다.

  • 영상의 분위기에 맞는 배경음악을 넣었다.

  • 세로형 숏폼 화면에 맞게 구도를 조정했다.

특히 자막을 넣어보니 영상의 메시지가 훨씬 명확해졌다.

처음에는 AI 영상이 어렵게만 느껴졌다.

하지만 프롬프트를 직접 작성하고,
결과를 하나씩 수정해보면서 알게 되었다.

완벽하게 시작할 필요는 없다는 것을.

AI가 영상을 생성해주더라도, 장면을 선택하고 이야기의 흐름을 만드는 것은 결국 사람의 역할이라는 점도 느낄 수 있었다.

결과와 배운 점

AI 영상 제작에 대한 두려움이 줄었다

이번 실습에서 가장 크게 달라진 것은 영상 제작 기술 자체보다 AI를 사용하는 데 대한 자신감이었다.

이전에는 AI 영상 제작 도구를 보면 기능이 많고 복잡해 보여 시작하기가 어려웠다.

하지만 실제로 사용해보니 모든 기능을 미리 공부할 필요는 없었다.

간단한 주제를 정하고, 프롬프트를 작성하고, 결과를 확인한 뒤 한 문장씩 수정하는 것만으로도 충분히 시작할 수 있었다.

프롬프트는 한 번에 완성되지 않는다

처음에는 좋은 프롬프트를 한 번에 작성해야 좋은 결과가 나온다고 생각했다.

그러나 실습을 통해 프롬프트는 완성된 명령문이 아니라 다음 과정을 반복하는 작업이라는 것을 배웠다.

아이디어 작성
→ 결과 생성
→ 어색한 부분 확인
→ 조건 추가 또는 삭제
→ 다시 생성

결과가 마음에 들지 않는 것은 실패가 아니라, 다음 프롬프트에 어떤 정보를 추가해야 하는지 알려주는 과정이었다.

도구마다 역할을 나누면 작업이 쉬워진다

여러 도구를 사용하면서 각각의 역할을 구분하자 전체 작업 과정이 더 명확해졌다.

  • Grok: 영상 아이디어와 장면 구성, 프롬프트 초안 작성

  • Google Flow: 이미지와 영상 장면 생성

  • Vrew: 장면 연결, 자막, 음성 및 최종 편집

하나의 도구로 모든 과정을 해결하려고 하기보다, 각 도구가 잘하는 작업을 연결하는 것이 반복 가능한 제작 시스템을 만드는 데 도움이 되었다.

다음에는 나만의 제작 템플릿을 만들고 싶다

이번에는 도구를 직접 사용해보는 데 집중했다면, 다음에는 반복해서 활용할 수 있는 영상 제작 템플릿을 만들어보고 싶다.

예를 들면 다음과 같은 구조다.

1. 영상 주제 결정
2. 핵심 메시지 한 문장 작성
3. 장면 5개로 나누기
4. 장면별 영상 프롬프트 작성
5. AI 영상 생성
6. Vrew에서 편집 및 자막 추가
7. 업로드 문구와 썸네일 제작
8. 결과를 기록하고 프롬프트 개선

이 구조를 템플릿으로 만들어두면 매번 처음부터 고민하지 않고, 주제만 바꿔 반복적으로 영상을 만들 수 있을 것 같다.

마무리

AI 영상 제작을 배우기 전에는 좋은 장비나 전문적인 편집 기술이 있어야만 영상을 만들 수 있다고 생각했다.

하지만 이번 스터디를 통해 중요한 것은 완벽한 기술이 아니라, 작은 아이디어를 실제 결과물로 만들어보는 경험이라는 것을 알게 되었다.

특히 AI 초보자라면 처음부터 멋진 영상을 완성하려고 하기보다, 짧은 장면 하나를 만들어보는 것부터 시작해보기를 권하고 싶다.

결과가 예상과 다르게 나와도 괜찮다.

프롬프트를 수정하고 다시 만들어보는 과정 자체가 AI를 이해하는 가장 좋은 연습이기 때문이다.

이번 실습을 통해 나는 AI 영상을 잘 만들게 되었다기보다, 더 중요한 변화를 얻었다.

“나도 AI를 활용해 무언가를 만들 수 있다”는 자신감이다.

도움 받은 글

  • Google Flow 공식 소개 및 도움말: Flow는 AI를 활용해 영상 클립, 장면과 스토리를 제작할 수 있도록 지원한다.

  • Vrew 공식 홈페이지: 텍스트 기반 영상 편집, 자동 자막, AI 음성 및 텍스트 기반 영상 제작 기능을 소개한다.

1
4개의 답글
밀어주고 끌어주는

온·오프라인 AI 스터디

AI로 어디까지 할 수 있는지
직접 확인하실 분만 신청하세요.