Suno 곡 하나로 뮤직비디오까지 — 편집 툴 한 번도 안 열고 작업 완료하기 (Claude + Gemini NanoBanana+ ComfyUi Mcp + MiniMax H3)

📝 한줄 요약

Suno로 만든 곡 하나, 2분 8초짜리를 가지고 Claude Code에 이미지 생성 MCP와 영상 생성 MCP를 물려서 업로드 가능한 2분 11초짜리 뮤직비디오 완성본까지 갔습니다. 영상 편집 툴은 한 번도 열지 않았고, 영상 생성에 쓴 돈은 $23.67입니다.

바쁘시면 이것만 읽으셔도 됩니다.

  • 구성 — Claude Code를 작업장으로 두고 MCP 두 개만 물렸습니다. nanobanana는 이미지, Comfy Cloud는 영상. 나머지 편집·전사·조립은 대화창 안에서 알아서 처리됐습니다.

  • 핵심 설계 — 클립을 이어붙일 때 점프컷이 안 나게 하려고 스토리보드를 80장의 개별 프레임으로 쪼갰습니다. 이게 영상 모델 선택과 정확히 맞물렸습니다.

  • 한 번 갈아엎음 — 23클립을 다 만들고 나서 마음에 안 들어 전부 다시 만들었습니다. 버린 게 아까울 것 같았는데, 청구서를 보니 $1.53이었습니다.

  • 가장 크게 배운 것눈으로 보는 검수는 계속 틀렸습니다. "괜찮아 보인다" 대신 재보게 시키니 숫자로 나왔고, 썸네일은 실제 노출 크기로 줄이니 순위가 뒤집혔습니다.

https://youtu.be/r4RzHCARx-k


🎯 이런 분들께 도움됩니다

  • Claude Code에 MCP를 여러 개 물려 하나의 파이프라인으로 엮어보고 싶은 분 — 도구를 오가지 않고 한 대화창에서 끝내는 구성이 어떻게 굴러가는지

  • AI로 영상을 만들고 싶은데 "클립 이어붙이기"에서 막힌 분 — 이미지는 잘 나오는데 영상으로 넘어가면 클립이 튀어서 포기했던 경우

  • 곡은 만들어봤지만 영상은 엄두가 안 났던 분 — 편집 툴 없이 대화만으로 어디까지 가는지


😫 시작은 MiniMax H3 사용해보고 싶은데 에서 시작했습니다

https://www.wikitree.co.kr/articles/1149740

마침 조건도 맞았습니다. 곡이 이미 있었습니다. Suno로 만든 Pink Soda, 2분 8초짜리 남성 보컬 트랙입니다. 그리고 써보고 싶은 것도 있었습니다. 요즘 핫하다는 MiniMax H3 영상 모델인데, 이름만 듣고 지나가긴 아깝더군요.

다만 방법을 몰랐습니다. 영상 편집 툴을 다뤄본 적이 없고, 이미지 생성은 해봤어도 그걸 어떻게 "이어지는 영상"으로 만드는지는 감이 없었습니다.

https://comfy.org/

그래서 원본 사례의 쇼핑쇼츠 대신 ComfyUI MCP를 붙여 MiniMax H3로 가보자로 방향을 틀었습니다. 결과적으로 이 갈라진 지점이 이 글의 시작입니다.

핑크소다 한국 뮤직비디오

🛠️ 사용한 도구는 이게 전부입니다

작업장 — Claude Code (Opus). 모든 작업이 여기 한 대화창에서 일어났습니다.

MCP는 딱 두 개입니다.

MCP

역할

비용

Gemini nanobanana

스틸 이미지 생성·편집 (캐릭터 시트, 세계관 시트, 스토리보드)

제미나이 프로

Comfy Cloud

이미지 → 영상 변환

유료 크레딧


🔧 ① 시작

시작부터 이미지 생성은 Gemini NanoBanana가 이미지 생성을 잘하고 있었기에 mcp 연동을 하였습니다.


🔧 ② 영상을 만들기 전에 8단계를 먼저 쌓았습니다

바로 영상부터 뽑고 싶었지만, 그러면 매 컷마다 주인공 얼굴이 달라진다는 건 알고 있었습니다. 그래서 순서대로 기준을 쌓았습니다.

단계

무엇을 정했나

1

핵심 감정 / 경험 / 장르 / 컨셉

2

시나리오 — 15초 × 8컷, 컷마다 카메라 워크

3

캐릭터·세계관 — "소다 = 꺼진 세계를 다시 켜는 매개"

4

비주얼 스타일 — 마젠타·시안 팔레트 확정

4.5

캐릭터 컨셉 4안 생성 → 고르기

5

캐릭터 마스터 시트

6

세계관 레퍼런스 시트

7

스토리보드

1단계 프롬프트에 이런 조건을 걸었습니다.

바로 결과를 확정하지 말고, 먼저 나에게 필요한 질문을 해줘.
마지막에는 "이 방향으로 정리하면 될까요?"라고 물어봐줘.

이 한 줄이 꽤 크게 작동했습니다. 바로 답을 내놓는 대신 질문을 던졌고, 답하다 보니 제 머릿속에만 있던 게 정리됐습니다.

그러다 실수 하나를 잡았습니다. 저는 주인공을 20대 여성으로 잡아뒀는데, 실제 음원을 확인해보니 남성 보컬이었습니다.

4.5단계에서는 같은 캐릭터를 네 가지 스타일로 뽑아 비교했습니다. 시네마틱, 아날로그 시티팝, 패션 에디토리얼, 웹툰풍. 패션 에디토리얼로 확정했고, 이후 검정 재킷 + 흰 셔츠 + 목에 걸친 헤드폰이 전 컷에서 고정되는 기준이 됐습니다.

양복을 입고 탄산음료 한 병을 들고 있는 남자
핑크소다 웹사이트 페이지

🔧 ③ 80장으로 쪼갠 이유 — 여기가 이 프로젝트의 분기점입니다

7단계에서 4×4 그리드 스토리보드 5장을 만들었습니다. 총 80칸입니다. 그런데 이걸 개별 이미지로 잘라달라고 했습니다.

4*4가 5개니 총 80장 이미지가 개별로 나와야 하고,
이미지 밑에 글자는 제거해줘야해.

그런데 왜 굳이 80장이었을까요(사실 장수는 많으면 많을수록 좋음..)

각 클립(영상모델 생성할때 나오는 짧은 영상 조각) 마다 시작·종료 프레임(이미지) 이 필요합니다.

종료 프레임이 얼굴을 붙잡아주니 얼굴이 미묘하게 변해가는 현상이 클립 하나 안에 갇혔습니다. 캐릭터 시트를 매 클립마다 다시 물릴 필요가 없어졌습니다.

핑크 콜라

🔧 ④ 23개의 클립을 다 만들고, "최악이다" 한마디로 다 버렸습니다

비용이 걱정돼서 1차는 저화질 480p에 저렴한 모델 Seedance 1.5 로 갔습니다. 23클립 전부 생성해서 곡에 맞춰 조립까지 끝냈습니다. 길이도 프레임 단위로 딱 맞았습니다.

Claude는 15장짜리 검수 시트를 만들어 "의상·헤드폰·팔레트가 23클립 전체에서 유지됨"이라고 보고했습니다. 숫자상으론 성공이었습니다.

그런데 실제로 재생해보니.

최악이다

이때 제가 가장 답답했던 게 여기입니다. 마음에 안 드는 건 확실한데, 그래서 뭘 어떻게 고치라고 말해야 할지를 몰랐습니다. 저는 영상 용어를 모르니까요.

그런데 이 두 글자만 던졌는데도 대화가 굴러갔습니다. Claude가 먼저 자기 검수의 구멍을 인정했습니다. "정지 이미지 15장만 보고 판단했고, 움직임과 이음새는 검수하지 않았습니다." 정확히 그 지점이 문제였습니다. 스틸은 멀쩡한데 움직이면 이상했던 겁니다.

그다음 23개 프롬프트를 전부 한국어로 받아보고 나서야 구조가 보였습니다. 프롬프트가 영상을 만드는 게 아니라, 시작·종료 프레임이 양 끝을 정하고 프롬프트는 "그 사이를 어떻게 건너갈지"만 지시하는 구조였습니다. 규칙도 단순했습니다.

시작 상태 + 카메라 지시 + 종료 상태, 그리고 동작은 딱 1개만

여기까지 이해는 했지만 세부적으로 들어가기엔 영상에 대한 지식이 부족한 관계로 전부 다시 만들기로 했습니다. 이번에는 처음에 써보고 싶었던 그 MiniMax H3로요.

작업한 결과물을 버리는 게 아깝지 않았습니다. 나중에 청구서를 열어보니 이 1차 작업 전체가 $1.53이었습니다. 23클립에 실패분 재생성까지 포함해서요. 클립 하나에 약 100원 꼴입니다.


🔧 ⑤ 22달러를 걸기 전에, 1달러로 확인했습니다

먼저 1개만 테스트

23클립을 새 모델로 다시 뽑는 건 22달러짜리 작업입니다. 그래서 전체를 걸기 전에 한 클립만 먼저 만들어봤습니다.

여기서 아무 컷이나 고르지 않았습니다. 앞서 만든 계획서에 "최난도 컷, 여기가 통과하면 나머지도 통과한다"고 표시해둔 컷을 골랐습니다. 게다가 그 컷은 1차 버전이 이미 있어서 같은 장면을 나란히 비교할 수 있었습니다.

1개 테스트에 든 돈은 1달러가 채 안 됩니다. 그 1달러로 "22달러를 써도 되는가"를 확인했습니다.


🔧 ⑥ 배치 실행 — AI가 제 프롬프트의 모순을 잡아냈습니다

나머지 22클립을 한 번에 제출하기 전에, Claude가 프롬프트 하나를 고쳐야 한다고 했습니다.

C02번 컷의 프롬프트는 "손으로 병을 쥐고 들어올려 얼굴에 분홍빛이 퍼진다"였습니다. 그런데 그 컷의 종료 프레임에는 사람도 손도 없었습니다. 병만 클로즈업된 이미지였습니다.

돌려보니 함정이 또 나왔습니다. MiniMax H3는 오디오를 자기 마음대로 생성하고, 그걸 끌 수 있는 옵션이 없습니다. 실제 곡과 충돌하니 편집 단계에서 강제로 소리를 제거해야 했습니다.

그리고 길이도 안 맞았습니다.

요청한 길이

실제로 나온 길이

5초

5.167초

6초

6.583초

7초

7.292초

23클립을 합치니 계획 126초가 142.92초가 됐습니다. 16.9초 초과입니다. 곡에는 1분 44초에 멈추고 1분 45초에 터지는 기준점이 있어서, 이걸 맞추려면 속도를 조정해야 했습니다.


🔧 ⑦ 자막과 썸네일 — 눈으로 고른 게 또 틀렸습니다

자막 — "이 지표는 못 쓴다"고 인정하고 방법을 바꾼 과정

먼저 자막 스타일 5종을 목업으로 만들었습니다. 네온글로우, 워드팝, 박스라벨, 크롬글리치, 유튜브기본입니다.

여기서도 검증 방식이 좋았습니다. 가독성이 가장 나쁠 구간 두 개를 골라서 테스트했습니다. 어둡고 대비 낮은 네온 거리 장면, 그리고 밝고 복잡한 성운 장면. "성운 장면에서 읽히면 전체에서 읽힙니다."

분홍색 병을 들고 있는 남자의 일련의 사진
핑크색 병을 들고 양복을 입은 남자

썸네일 — 큰 화면에서 고른 순위가 작은 화면에서 뒤집혔습니다

후보 5개를 만들었습니다. 인물 클로즈업, 병 매크로, 계단 상징, 폭발 타이포, 좌우 분할.

그런데 후보들과 함께 한 장을 더 줬습니다. 다섯 개를 전부 360×202로 축소한 시트입니다. 유튜브 목록에 실제로 뜨는 크기입니다.

"썸네일은 큰 화면에서 고르면 거의 항상 틀립니다."

축소본을 보니 순위가 뒤집혔습니다.

후보

큰 화면에서

실제 노출 크기에서

계단 상징

분위기 있음

완전 실패 — 거의 그냥 남색 사각형

폭발 타이포

과함

가장 강함

인물 클로즈업

무난

안정적 — 최종 채택

이걸 안 줬으면 저는 큰 화면에서 예뻐 보이는 걸 골랐을 겁니다.

핑크소다 한국 뮤직비디오

✅ 결과

항목

Before

After

가진 것

Suno 곡 파일 1개 (2:08)

업로드 가능한 뮤직비디오 완성본 (2:11)

영상 제작 경험

없음 (편집 툴 사용 0)

편집 툴 한 번도 안 열고 완주

MiniMax H3

이름만 들어봄

23클립 실제 생성, 타 모델과 직접 비교

재현 가능성

매번 처음부터

80프레임 + 8단계 절차가 파일로 남음

소요 기간

6일 (실작업 3일)

최종 산출물은 1280×720, 24fps, 2분 11초, 38MB 영상 한 편입니다. 그 밖에 생성 이미지 535장, 스토리보드 개별 프레임 80장, 영상 클립 23개, 자막 큐 60개, 자동화 스크립트 11개가 남았습니다.


💰 실제로 쓴 돈

추정치가 아니라 Comfy Cloud 실제 결제 금액입니다.

항목

금액

내용

Seedance 1.5 Pro

$1.53

1차 23클립 (480p) — 전량 폐기

MiniMax H3

$22.14

2차 테스트 1 + 22클립 (768p) — 최종본

이미지 생성

$0

nanobanana Gemini 구독 (535장)

편집·전사

$0

로컬 도구

총계

$23.67

약 3만 원

같은 이야기, 같은 프레임, 같은 프롬프트인데 모델만 바꾸니 약 14배가 벌어졌습니다.

읽는 방법이 두 가지입니다. 하나는 "2분 11초 뮤직비디오 한 편이 3만 원대"입니다. 외주나 편집 인건비와 비교하면 이쪽이 눈에 띕니다. 다른 하나는 "버린 1차가 전체의 6.5%뿐"이라는 겁니다. 실패를 감당할 수 있었던 이유가 여기 있습니다. 만약 1차를 H3로 했다면 폐기 비용이 22달러였고, 저는 아마 마음에 안 드는 채로 그냥 썼을 겁니다.


💬 이 과정에서 배운 것

효과적이었던 것

1. 한 대화창을 작업장으로 쓰기 이게 가장 컸습니다. 이미지 만드는 곳, 영상 만드는 곳, 편집하는 곳을 오가며 파일을 옮겼다면 중간에 포기했을 겁니다. 결과물이 하나 나오면 "이제 뭐 해야 하죠?"를 물을 필요가 없었습니다.

2. 결과물을 눈으로 말고 재보게 시키기 이 프로젝트에서 눈으로 한 판단은 계속 틀렸습니다.

  • 화면 가장자리 → "괜찮아 보임" ↔ 158프레임 측정하니 1~2px 번짐이 실재

  • 화면 크기 → 계산상 맞음 ↔ 실측하니 클립마다 14px씩 다름

  • 썸네일 → 큰 화면에서 A가 좋음 ↔ 실제 크기로 줄이니 순위 역전

  • 인트로 길이 → 3.2초면 됨 ↔ 프레임으로 환산하니 8ms 오차

"괜찮아 보이나요?" 대신 "이거 실제로 재봐줄래"를 붙이는 게 훨씬 값쌌습니다.

3. 실행 전에 "플랜부터 써줘" 80장 자르기 때 이걸 붙였습니다. 바로 실행했으면 화질을 절반 날렸을 겁니다. 플랜을 먼저 받으니 제 요청 자체가 틀렸다는 걸 발견했습니다.

4. 싼 모델로 전체를 한 바퀴 먼저 돌리기 $1.53을 쓰고 배운 것 — 클립 길이가 요청대로 안 나온다는 것, 프롬프트는 "시작 + 카메라 + 종료, 동작 1개"로 써야 한다는 것, 정지 화면 검수로는 이음새를 못 잡는다는 것. 부분 테스트로는 절대 안 보이는 게 완주에서 보입니다.

이렇게 하면 안 됩니다

  • 도구 이름부터 말하지 마세요. "ChatGPT MCP 붙여줘"로 30분을 태웠습니다. 목적을 말하면 도구는 알아서 고릅니다.

  • 정지 화면만 보고 통과시키지 마세요. 확인 결과를 받을 때 "뭘 기준으로 확인한 거죠?"를 한 번 물어보세요.

  • 구독 중이라고 공짜가 아닙니다. 구독과 API 키는 별개 지갑입니다.

  • 못 나오는 걸 요구하고 있을 수 있습니다. 도착 지점에 손이 없는데 "손으로 들어올린다"고 써놨으면 몇 번을 돌려도 안 나옵니다.


🌍 다른 업무에 적용한다면

이 작업의 뼈대는 영상이 아니라 "기준을 먼저 만들고, 그 기준으로 대량 생산하고, 눈이 아니라 측정으로 검수한다"입니다. 이건 어디에나 붙습니다.

  • 상세페이지·배너 대량 제작 — 브랜드 기준 시트를 먼저 만들고 그걸 물려서 수십 장 생성. 검수는 실제 노출 크기로 축소해서

  • 사내 교육 영상 — 스토리보드를 먼저 쪼개두면 나중에 특정 장면만 교체 가능

  • 반복 리포트 — 절차와 함정을 파일로 남기게 하면 다음 달엔 파일만 주고 시작

  • 품질 검수 일반 — "괜찮아 보이나요" 대신 "몇 개 중 몇 개가 기준을 넘나요"로 바꾸기


🚀 앞으로의 계획

이번 작업의 진짜 결과물은 완성된 영상이 아니라 80프레임 스토리보드일지도 모릅니다.

시작·종료 프레임이 고정돼 있으니, 영상 모델만 갈아끼우면 같은 이야기의 다른 버전이 나옵니다. Kling 3.0과 Seedance 2.0은 이미 연동해둔 상태입니다. 같은 프레임, 같은 프롬프트로 돌려서 모델별 비교판을 만들어보려 합니다. "어떤 모델이 좋다더라"를 말로 듣는 대신, 같은 조건에서 직접 비교한 자료가 생깁니다.

🎬 완성본: https://youtu.be/r4RzHCARx-k



📋 재사용 가능한 프롬프트 6개

① 기획 단계에서 AI가 먼저 질문하게 만들기

너는 [분야] 전문가야. 지금은 [작업]의 1단계만 진행한다.
[정리할 항목] 1. [항목1] 2. [항목2] 3. [항목3]
바로 결과를 확정하지 말고, 먼저 나에게 필요한 질문을 해줘.
내가 답한 내용을 반영해서 정리하고,
마지막에는 "이 방향으로 정리하면 될까요?"라고 물어봐줘.

② 실행 전에 계획을 먼저 받기

[하고 싶은 작업]을 하려고 해. 어떻게 작업할 것인지 먼저 플랜부터 작성해줘.
방법이 여러 개면 후보를 표로 비교하고, 어떤 걸 왜 선택했는지 근거를 알려줘.
내가 승인하면 그때 실행해줘.

③ 눈이 아니라 측정으로 검수시키기

방금 만든 결과물이 [기준]을 만족하는지 실제로 측정해서 확인해줘.
"괜찮아 보인다"가 아니라 숫자로 알려줘. 몇 개 중 몇 개가 기준을 넘는지.
그리고 어떤 기준으로 확인한 건지도 같이 알려줘.

④ 세션이 끊겨도 복구되게 기록시키기

지금 작업의 진행 상태·검증 수치·후처리 방법·발견한 제약을 파일로 정리해줘.
세션이 끊겨도 그 파일만 보면 이어서 작업할 수 있을 정도로 구체적으로 써줘.
특히 한 번 실패했던 것과 그 원인은 반드시 포함해줘.

⑤ 도구 대신 목적을 말하기

나는 [최종 목표]를 하려고 해. 이걸 위해 [중간 결과물]이 필요한 상황이야.
어떤 도구를 어떻게 연결하면 되는지 후보를 비교해서 알려줘.
비용 구조(구독 / API / 크레딧)도 같이 알려줘.

⑥ 돈 쓰기 전에 견적 받고, 싼 걸로 먼저 완주하기

[작업]을 [N]개 만들어야 해. 실행하기 전에 두 가지를 알려줘.
1. 모델·설정별 예상 비용을 표로 비교 (가장 싼 조합과 가장 좋은 조합의 총액 차이)
2. 가장 싼 설정으로 전체를 한 바퀴 완주하려면 얼마인지
나는 싼 설정으로 먼저 전체를 만들어보고, 문제를 다 찾은 다음 좋은 설정으로 갈 생각이야.
진행하면서 실제로 얼마가 나갔는지도 중간중간 알려줘.
1
밀어주고 끌어주는

온·오프라인 AI 스터디

AI로 어디까지 할 수 있는지
직접 확인하실 분만 신청하세요.