클로드가 영상 편집까지.

영상 편집을 간편하게

Grok으로 만든 영상 8개·Supertones로 만든 목소리 17개· Suno로 만든 배경음악을 한 폴더에 넣고 클로드에게 말로 요청했더니, 영상이 완성됐습니다. 캡컷으로 한땀한땀 했다면 반나절 걸렸을 작업이 대화 몇 번, 30분으로 끝났어요.

https://youtube.com/shorts/A7BqHMIDqJA?si=3pNev8zs7lbC6uxi

핵심 목표와 방법

- 목표: Grok 영상 + Supertone 목소리 + Suno 음악을 합쳐 숏폼 교육영상 한 편 완성 (수시간 → 약 30분)

- 핵심 방법: 소스 파일만 던져주지 말고, 컷 구성·대사·타이밍이 정리된 스토리보드 문서를 함께 주기 — 클로드가 알아서 17개 목소리를 8컷에 매핑함

- 인상적인 순간: "목소리와 장면이 안 맞아"라고만 했는데, 클로드가 영상 프레임을 직접 꺼내 보고 캐릭터 표정을 읽더니 "감정 순서가 거꾸로네요"라고 진단하고 고쳐줌

- 막혔던 부분: 클로드가 아니라 사전 작업 — Grok에서 캐릭터만 움직이게 영상을 뽑는 데 재생성을 여러 번 반복

- 확장성: 다음 편부터는 소스만 바꿔 넣으면 같은 방식으로 재사용 가능, 워크플로우 자체를 스킬로 만들 계획

- 배운 교훈: 문제는 전문 용어 없이 느낌만 말해도 된다. "안 맞는데?" 한마디면 클로드가 원인을 찾는다

AI 활용이 필요한 사람들

- Grok, TTS, Suno 같은 생성 AI는 쓰는데 결과물을 하나로 합치는 마지막 단계가 막막한 분

- "클로드가 코딩 말고 영상 편집도 되나?" 궁금했던 분

기존 문제와 해결책

기존 문제 상황

캐릭터 교육영상을 만들고 있습니다. 골든리트리버 학생 '호기'와 여우 선생님 '별쌤'이 나와서 "AI에게 좋은 질문하는 법"을 알려주는 숏폼이에요.

지난주에 올렸던 사례글 영상을 대폭 수정하게 됐습니다. 영상 8컷을 새로 뽑고, 목소리 17개를 새로 생성하고… 그러면 또 캡컷을 열어서 컷을 타임라인에 배치하고, 음성 파일을 하나씩 올려 싱크를 맞추고, 컷 길이를 조절하고, 배경음악을 깔고 음량을 조절하는 수작업이 기다리고 있었죠. 이 과정이 보통 반나절은 걸립니다.

그러던 중 문득 궁금해졌어요. 클로드가 리모션(코드로 영상을 만드는 도구)을 다루는데, 그럼 영상 편집 자체도 할 수 있는 거 아닐까? 밑져야 본전이니 소스 파일을 폴더에 정리해 넣고 물어보기로 했습니다.

사용한 도구와 모델 호환성

- 영상 편집: Claude Code (터미널에서 대화로 작업)

- 영상 생성: Grok — 이미지를 동영상으로 변환

- 목소리 생성: Supertone — 호기·별쌤·AI 세 캐릭터 TTS

- 음악 생성: Suno — 배경음악

- 특이사항: 영상 편집 프로그램(캡컷)은 단 한 번도 열지 않음

- 모델 호환: 이 워크플로우는 최신 모델 전용이 아닙니다. 영상 자르기·합치기는 클로드가 터미널 도구(ffmpeg)를 실행하는 방식이고, 장면 진단은 이미지를 보는 능력(비전)만 있으면 되기 때문에 Opus 4.7, 4.6 등에서도 그대로 재현 가능해요. 어떤 요금제든 따라 하실 수 있습니다.

작업 과정과 결과

사전 준비와 클로드의 역할

클로드에게 가기 전, 재료부터 준비했습니다.

영상 (Grok): 수채화 스타일 카드 이미지 8장을 동영상으로 변환했습니다. 조건은 "가운데 캐릭터 이미지만 움직이고, 제목·설명글은 그대로 둘 것". 그런데 이게 쉽지 않았어요. 중간에 멋대로 말풍선이 들어가거나, 캐릭터가 커져서 설명글을 가리는 일이 반복돼서 여러 번 재생성을 거쳐야 했습니다. 이번 작업에서 제일 손이 많이 간 부분이에요.

한 가지 요령도 생겼습니다. Grok 목소리는 어차피 안 쓸 예정이었지만, 입모양과 말하는 속도를 맞추기 위해 Grok에도 대본을 그대로 주고 영상을 생성했어요. 이렇게 하면 나중에 다른 목소리를 입혀도 어색하지 않습니다.

목소리 (Supertone): 호기, 별쌤, AI 세 캐릭터의 목소리를 대본 한 줄씩, 총 17개 파일로 생성해 다운로드했습니다.

음악 (Suno): 배경음악 한 곡을 생성해 파일로 준비했습니다.

이렇게 모은 영상 8개 + 음성 17개 + 스토리보드 문서 + BGM을 한 폴더에 넣고, 터미널에서 클로드를 불렀습니다.

클로드의 영상 편집 과정

반신반의하며 첫 요청을 보냈습니다.

영상 폴더에 있는 파일을 합쳐서 하나의 영상 mp4 파일로 완성하고 싶어.
영상 폴더에 있는 파일 목소리는 음성 폴더에 있는 파일로 교체해줘.
스토리보드 파일에 자세한 설명이 있어.
전에는 캡컷에서 하나씩 편집했는데, 클로드에서 할 수 있는거야?

클로드는 "가능합니다"라고 답하더니 정말 일을 시작했습니다. 스토리보드 문서를 읽고 8컷 구성과 대사 순서를 파악하고, 영상 8개와 음성 17개의 길이를 전부 측정하더니, 어떤 목소리가 어떤 컷에 들어가야 하는지 알아서 매핑했어요. 컷2에는 호기·AI·호기 대사 3개, 컷4에는 별쌤·호기 대사 2개… 제가 일일이 지정한 게 아니라 스토리보드를 보고 스스로 정리한 겁니다.

대사가 영상보다 긴 컷은 마지막 장면을 정지화면으로 늘려서 맞추고, 대사 사이에 자연스러운 간격도 넣고, 다 합친 뒤에는 중간중간 화면을 캡처해서 순서가 맞는지 스스로 검증까지 했습니다. 그렇게 57초짜리 세로형 영상 한 편이 나왔어요.

캡컷이었다면 클립 16개를 타임라인에 끌어다 놓고 하나씩 맞추고 있었을 시간에, 저는 결과물을 보고 있었습니다.

문제 해결과 최종 결과

완성본을 확인하다 보니 3번 컷이 이상했습니다. 호기가 흥분해서 질문하는 대사인데 화면 속 호기는 이미 충격받은 표정이고, 정작 충격받는 대사에서는 화면이 멈춰 있었어요. 전문 용어는 모르니 그냥 느낀 대로 말했습니다.

003.mp4 파일 내용에서 목소리와 장면이 좀 맞지 않는데, 고칠 수 있어?

여기서 이번 작업 최고의 "오!" 순간이 나왔습니다. 클로드가 영상에서 프레임을 시간대별로 꺼내 직접 보더니, "영상은 충격받은 표정으로 시작해서 시무룩해지는 순서인데, 대사는 신나게 질문 → 답변 듣기 → 충격 리액션 순서라 감정이 거꾸로"라고 원인을 짚어냈어요.

해결책도 기발했습니다. 영상을 거꾸로 재생하면서 살짝 느리게 돌리면 감정 순서가 대사와 맞아떨어진다는 거예요. 적용 후에 다시 프레임을 뽑아서 "질문 대사 → 발 들고 말하는 모습, 충격 대사 → 입 크게 벌린 표정"으로 맞았는지 검증까지 해서 보여줬습니다. 캐릭터 표정을 읽고 감정 흐름을 진단하는 건, 솔직히 사람 편집자 같았어요.

배경음악 추가와 최종 조정

마지막으로 Suno에서 만든 음악을 폴더에 넣고 요청했습니다.

폴더에 bgm.mp3 파일 넣었어. 백뮤직 넣은 버전을 따로 만들어줘. 비교해보고 쓸께.

클로드는 음악 파일의 음량을 측정하더니 "목소리보다 크니까 배경으로 깔리게 낮추겠다"며 알아서 조절하고, 시작은 부드럽게 커지고 끝은 서서히 작아지게 페이드 처리까지 했습니다. 원본은 그대로 두고 BGM 버전을 따로 만들어줘서 둘을 비교해 고를 수 있었어요.

최종 결과와 배운 점

Before vs After

결과물

• 57초 세로형(9:16) 교육영상 완성본 + BGM 버전, 총 2개 파일

• 컷별로 다시 만들 수 있는 자동화 스크립트 (다음 편에서 재사용 가능)

AI 활용 팁과 주의사항

효과적이었던 것

1. 스토리보드 문서가 핵심 — 소스 파일만 던져주지 않고 컷 구성·대사·타이밍이 정리된 문서를 함께 줬더니, 클로드가 17개 목소리를 8컷에 알아서 매핑했습니다. AI에게는 재료보다 설계도가 먼저예요.

2. 문제는 느낌만 말해도 충분 — "목소리와 장면이 좀 안 맞는데?"처럼 전문 용어 없이 말해도, 클로드가 영상을 직접 분석해서 원인(감정 순서 역전)을 찾아냅니다. 정확히 설명해야 한다는 부담을 내려놓으세요.

3. 폴더 정리가 절반 — 영상/음성/대본 폴더를 나누고 001, 002… Take1, Take2… 같은 번호 규칙을 지켰더니 AI가 헷갈리지 않고 매핑했습니다.

이렇게 하면 안 돼요

1. 생성 AI 결과물을 한 번에 통과될 거라 기대하기 — Grok 영상은 말풍선이 끼어들고 캐릭터가 글자를 가리는 문제로 여러 번 재생성했습니다. 사전 소스 준비에 시간 여유를 두세요.

2. 목소리 따로 입힐 거라고 영상 생성 때 대본을 빼기 — 입모양·속도가 안 맞아 어색해집니다. 안 쓸 목소리라도 영상 생성 도구에 대본을 그대로 주는 게 요령이에요.

다른 업무에의 적용 가능성

- 강의 영상: 슬라이드 화면 녹화 + 따로 녹음한 내레이션을 합치고 싱크 맞추기

- 제품 홍보 숏폼: 제품 컷 영상들 + TTS 설명 + BGM을 한 번에 조립

- 팟캐스트/오디오북: 여러 화자의 녹음 파일을 순서대로 잇고 음량 통일, 인트로 음악 믹싱

- 핵심은 같습니다 — 소스를 폴더에 정리하고, 순서가 적힌 문서와 함께 맡기기

미래 계획과 프롬프트 재사용

이번 워크플로우(Grok 영상 + Supertone 목소리 + Suno 음악 + Claude Code 조립)를 클로드 스킬로 만들 계획입니다. 스킬로 만들어두면 다음 편부터는 "폴더에 소스 넣었어, 2편 만들어줘" 한마디로 같은 품질의 영상이 나오게 되죠. 호기와 별쌤 시리즈를 계속 만들 거라서, 편당 30분도 더 줄어들 거라 기대하고 있습니다.

재사용 가능한 프롬프트

프롬프트 1: 영상 합치기 + 목소리 교체

> [영상 폴더명] 폴더에 있는 파일을 합쳐서 하나의 영상 mp4 파일로 완성하고 싶어.

> 영상 목소리는 [음성 폴더명] 폴더에 있는 파일로 교체해줘.

> [스토리보드 파일명] 파일에 컷 구성과 대사 순서가 자세히 있어.

>

> ※ 스토리보드에는 컷 번호, 각 컷의 대사(화자 포함), 대략적인 시간을 표로 정리해두세요

프롬프트 2: 장면-음성 싱크 수정

> [파일명] 컷에서 목소리와 장면이 좀 맞지 않는데, 고칠 수 있어?

>

> ※ 원인을 몰라도 됩니다. 느낌만 말하면 AI가 프레임을 분석해 원인을 찾아요

프롬프트 3: 배경음악 추가

> 폴더에 [음악 파일명] 넣었어. 백뮤직 넣은 버전을 따로 만들어줘. 비교해보고 쓸게.

>

> ※ "따로 만들어줘"라고 하면 원본이 보존돼서 비교 후 선택할 수 있어요