그림이 해결되니 이제는 타입캐스트가?! 클코 초보의 AI숏폼드라마 스터디 3주차 기록

Claude Code로 AI 숏폼 드라마 자동 제작 파이프라인 만들었습니다

🎯 바쁘시면 이것만 읽어도 돼요

Claude Code로 스크립트 작성 → 이미지 생성 → 영상 생성 → 음성 합성 → 최종 영상 완성까지 전 과정 자동화
Gemini, Veo, Typecast, ffmpeg, Remotion을 에이전트로 연결해서 숏폼 콘텐츠 제작
"독일 유학생이 현지 문화를 겪는" 라인 그림체 드라마를 AI로 만들었어요!

👨‍💻 이런 분들께 도움돼요

AI 툴 여러 개를 하나의 파이프라인으로 연결하고 싶은 분
내 그림체를 ai에게 넣어서 독특함을 채우고 싶으신 분
Claude Code를 실제 창작 작업에 활용하고 싶은 분

😫 Before: 숏폼 하나 만들려면

기획 → 스크립트 → 이미지 → 영상 → 목소리 → 편집 → 자막.
각 단계마다 툴이 다르고, 스타일 통일도 안 되고, 너무 손이 많이 갔어요.

🛠️ 시스템 구조

reference-analyst   → YouTube 레퍼런스 분석 (Gemini)
    ↓
script-writer       → 스크립트 생성 (씬별 나레이션/대사)
    ↓
scene-designer      → 씬별 이미지 프롬프트 설계서 생성
    ↓
character-designer  → 캐릭터/씬 이미지 생성 (Gemini Image)
    ↓
background-director → 배경 이미지 생성 (Veo 레퍼런스용)
    ↓
video-creator       → 씬 애니메이션 생성 (Veo-3.1)
    ↓
audio-creator       → 나레이션 TTS 생성 (Typecast)
    ↓
ffmpeg + Remotion   → 영상/오디오 합성 → 최종 MP4

사용 도구

Claude Code (claude-sonnet-4-6)
Gemini 2.5 Flash (레퍼런스 분석, 이미지 생성)
Veo 3.1 (씬 애니메이션)
Typecast TTS (한국어 나레이션)
ffmpeg (오디오 합성)
Remotion (React 기반 영상 렌더러)

🔨 구축 과정

첫 번째 — 캐릭터와 세계관 정의

Claude Code에게 채널 컨셉을 설명했어요.
"독일 장기여행자 캐릭터가 현지 문화를 겪으며 재미난 지식을 얻는 라인 그림체 숏폼"

주인공 스펙을 문서화하고 (references/character/main_character_ref.md), Gemini Image로 기본 포즈 + 감정 4종, 독일인 NPC 4종을 생성했어요.

핵심은 캐릭터 레퍼런스 문서를 먼저 만드는 것이었어요. 이후 모든 이미지 생성 프롬프트가 이 문서를 참조해서 스타일 통일이 됐어요.

(우리의 주인공)

인물 기본 레퍼런스 (여기에 인종이나 성별 외관은 레퍼런스 삼게 하는 명령어 넣어두었습니다)

(

(추가로 라인형 배경까지)

두 번째 — 스크립트 → 이미지 → 영상 파이프라인

첫 에피소드 주제: "독일 기차 안 맥주 파티"

씬 설계서를 만들고, 씬별 이미지 6장을 생성했어요.
Veo-3.1로 씬 1~3을 애니메이션 클립으로 변환할 때 start frame 방식을 사용했는데, 그림체와 움직임이 자연스럽게 유지됐어요.

씬

내용

길이

1 (훅)

기차 안 갑자기 파티 분위기

5초

2 (상황)

조용히 이동하려 했는데...

8초

3 (충돌)

옆자리 아저씨가 맥주를 건넴

10초

4~6

현지 지식 설명 + 마무리

22초

*첫 시도에서는 명령 전달 실패로 이상한 영상이 나왔는데 이것때문에 토큰도 나가도 5천원 가량 과소비한 것 같은...

clip_001_01_hook.mp4

1.82MB

세 번째 — 트러블슈팅들

문제

원인

해결

Veo 이미지 입력 안 됨

veo-2.0은 GCS URI만 지원

veo-3.1로 전환, base64 방식 사용

안전 필터 차단

맥주병이 필터에 걸림

사이다 병으로 교체 후 통과

AI 음성 자동 생성

Veo가 영어 음성+BGM을 자동 삽입

ffmpeg으로 오디오 트랙 제거 후 TTS 합성

Typecast API 인증 실패

API 키에 대괄호 포함됨 (sed 명령어 오류)

키 재발급 후 직접 수정

무사히 원하는 퀄리티로 제작 성공!! (이때 이미 25000원이 나감...)

타입캐스트는 유료로 해도 안되는 상황이 발생해서 아예 직접 들어가서 나레이션 추출 후 다시 넣는 발품까지 팔았습니다.

네 번째 — 오디오 합성

나레이션 + BGM + SFX 3트랙을 ffmpeg으로 믹싱했어요.

나레이션 (100%) + 독일 맥주 BGM (20%) + 기차 소음 SFX (15%)
→ amix → apad로 8초 패딩 → 최종 오디오

BGM은 Archive.org에서 퍼블릭 도메인 독일 민속음악을 받았고, 기차 소음 SFX도 무료 소스에서 curl로 직접 다운로드했어요.

(근데 클코야 너무 이것만 쓰는 거 아니니 이건 어떻게 해야하지)

✅ After: 파이프라인 완성 상태

항목

Before

After

이미지

수동 프롬프트

scene-designer가 자동 설계

캐릭터 일관성

매번 달라짐

레퍼런스 문서 기반으로 통일

영상

iMovie 수동 편집

Remotion + ffmpeg 자동 합성

나레이션

직접 녹음

TTS 자동 생성

최종 MP4

수시간 작업

파이프라인 실행으로 완성

(Remotion + ffmpeg 자동 합성 후)

그리고 임시 최종! 아직 고칠 게 많다...

💡 효과적이었던 것

에이전트를 역할별로 분리: 각 단계가 독립적이라 한 부분만 수정해도 전체 재실행 불필요
레퍼런스 문서 선행 작성: 캐릭터/스타일 문서를 먼저 만들면 이미지 일관성이 자연스럽게 유지됨
Veo start frame 방식: 생성한 이미지를 첫 프레임으로 넣으면 그림체를 유지하며 애니메이션 가능

⚠️ 이렇게 하면 안 돼요

Veo-2.0은 로컬 이미지 입력 불가 — 반드시 Veo-3.1 사용
Veo 영상에는 AI 오디오가 자동 삽입됨 — ffmpeg으로 제거 후 TTS 합성할 것
TTS API 키를 sed 명령어로 교체할 때 [NEW_KEY] 대괄호를 그대로 넣으면 안 됨

🔥<24기 AI 스터디> 9/21 모집 마감 🔥