그림이 해결되니 이제는 타입캐스트가?! 클코 초보의 AI숏폼드라마 스터디 3주차 기록
2026.04.07

Claude Code로 AI 숏폼 드라마 자동 제작 파이프라인 만들었습니다
🎯 바쁘시면 이것만 읽어도 돼요
Claude Code로 스크립트 작성 → 이미지 생성 → 영상 생성 → 음성 합성 → 최종 영상 완성까지 전 과정 자동화
Gemini, Veo, Typecast, ffmpeg, Remotion을 에이전트로 연결해서 숏폼 콘텐츠 제작
"독일 유학생이 현지 문화를 겪는" 라인 그림체 드라마를 AI로 만들었어요!
👨💻 이런 분들께 도움돼요
AI 툴 여러 개를 하나의 파이프라인으로 연결하고 싶은 분
내 그림체를 ai에게 넣어서 독특함을 채우고 싶으신 분
Claude Code를 실제 창작 작업에 활용하고 싶은 분
😫 Before: 숏폼 하나 만들려면
기획 → 스크립트 → 이미지 → 영상 → 목소리 → 편집 → 자막.
각 단계마다 툴이 다르고, 스타일 통일도 안 되고, 너무 손이 많이 갔어요.
🛠️ 시스템 구조
reference-analyst → YouTube 레퍼런스 분석 (Gemini)
↓
script-writer → 스크립트 생성 (씬별 나레이션/대사)
↓
scene-designer → 씬별 이미지 프롬프트 설계서 생성
↓
character-designer → 캐릭터/씬 이미지 생성 (Gemini Image)
↓
background-director → 배경 이미지 생성 (Veo 레퍼런스용)
↓
video-creator → 씬 애니메이션 생성 (Veo-3.1)
↓
audio-creator → 나레이션 TTS 생성 (Typecast)
↓
ffmpeg + Remotion → 영상/오디오 합성 → 최종 MP4
사용 도구
Claude Code (claude-sonnet-4-6)
Gemini 2.5 Flash (레퍼런스 분석, 이미지 생성)
Veo 3.1 (씬 애니메이션)
Typecast TTS (한국어 나레이션)
ffmpeg (오디오 합성)
Remotion (React 기반 영상 렌더러)
🔨 구축 과정
첫 번째 — 캐릭터와 세계관 정의
Claude Code에게 채널 컨셉을 설명했어요.
"독일 장기여행자 캐릭터가 현지 문화를 겪으며 재미난 지식을 얻는 라인 그림체 숏폼"
주인공 스펙을 문서화하고 (references/character/main_character_ref.md), Gemini Image로 기본 포즈 + 감정 4종, 독일인 NPC 4종을 생성했어요.
핵심은 캐릭터 레퍼런스 문서를 먼저 만드는 것이었어요. 이후 모든 이미지 생성 프롬프트가 이 문서를 참조해서 스타일 통일이 됐어요.




(우리의 주인공)




인물 기본 레퍼런스 (여기에 인종이나 성별 외관은 레퍼런스 삼게 하는 명령어 넣어두었습니다)

(

(추가로 라인형 배경까지)
두 번째 — 스크립트 → 이미지 → 영상 파이프라인
첫 에피소드 주제: "독일 기차 안 맥주 파티"
씬 설계서를 만들고, 씬별 이미지 6장을 생성했어요.
Veo-3.1로 씬 1~3을 애니메이션 클립으로 변환할 때 start frame 방식을 사용했는데, 그림체와 움직임이 자연스럽게 유지됐어요.
씬 | 내용 | 길이 |
|---|---|---|
1 (훅) | 기차 안 갑자기 파티 분위기 | 5초 |
2 (상황) | 조용히 이동하려 했는데... | 8초 |
3 (충돌) | 옆자리 아저씨가 맥주를 건넴 | 10초 |
4~6 | 현지 지식 설명 + 마무리 | 22초 |
*첫 시도에서는 명령 전달 실패로 이상한 영상이 나왔는데 이것때문에 토큰도 나가도 5천원 가량 과소비한 것 같은...
세 번째 — 트러블슈팅들
문제 | 원인 | 해결 |
|---|---|---|
Veo 이미지 입력 안 됨 | veo-2.0은 GCS URI만 지원 | veo-3.1로 전환, base64 방식 사용 |
안전 필터 차단 | 맥주병이 필터에 걸림 | 사이다 병으로 교체 후 통과 |
AI 음성 자동 생성 | Veo가 영어 음성+BGM을 자동 삽입 | ffmpeg으로 오디오 트랙 제거 후 TTS 합성 |
Typecast API 인증 실패 | API 키에 대괄호 포함됨 (sed 명령어 오류) | 키 재발급 후 직접 수정 |
무사히 원하는 퀄리티로 제작 성공!! (이때 이미 25000원이 나감...)
타입캐스트는 유료로 해도 안되는 상황이 발생해서 아예 직접 들어가서 나레이션 추출 후 다시 넣는 발품까지 팔았습니다.
네 번째 — 오디오 합성
나레이션 + BGM + SFX 3트랙을 ffmpeg으로 믹싱했어요.
나레이션 (100%) + 독일 맥주 BGM (20%) + 기차 소음 SFX (15%)
→ amix → apad로 8초 패딩 → 최종 오디오
BGM은 Archive.org에서 퍼블릭 도메인 독일 민속음악을 받았고, 기차 소음 SFX도 무료 소스에서 curl로 직접 다운로드했어요.
(근데 클코야 너무 이것만 쓰는 거 아니니 이건 어떻게 해야하지)
✅ After: 파이프라인 완성 상태
항목 | Before | After |
|---|---|---|
이미지 | 수동 프롬프트 | scene-designer가 자동 설계 |
캐릭터 일관성 | 매번 달라짐 | 레퍼런스 문서 기반으로 통일 |
영상 | iMovie 수동 편집 | Remotion + ffmpeg 자동 합성 |
나레이션 | 직접 녹음 | TTS 자동 생성 |
최종 MP4 | 수시간 작업 | 파이프라인 실행으로 완성 |
(Remotion + ffmpeg 자동 합성 후)
그리고 임시 최종! 아직 고칠 게 많다...
💡 효과적이었던 것
에이전트를 역할별로 분리: 각 단계가 독립적이라 한 부분만 수정해도 전체 재실행 불필요
레퍼런스 문서 선행 작성: 캐릭터/스타일 문서를 먼저 만들면 이미지 일관성이 자연스럽게 유지됨
Veo start frame 방식: 생성한 이미지를 첫 프레임으로 넣으면 그림체를 유지하며 애니메이션 가능
⚠️ 이렇게 하면 안 돼요
Veo-2.0은 로컬 이미지 입력 불가 — 반드시 Veo-3.1 사용
Veo 영상에는 AI 오디오가 자동 삽입됨 — ffmpeg으로 제거 후 TTS 합성할 것
TTS API 키를 sed 명령어로 교체할 때
[NEW_KEY]대괄호를 그대로 넣으면 안 됨




역시 레퍼런스를 잘 주는게 내가 원하는 결과물을 만드는데에는 제일 중요하군요! 다양한 툴들을 능숙하게 사용하시는것같아요 넘 멋지십니당.. 좋은 사례 공유해주셔서 감사합니다!
읽어주셔서 감사합니다~ 툴에 대한 거랑 원하는 예시 사례만 있으면 훨씬 편해지는 것 같아요