📝 한줄 요약
AI 코딩 도구(Claude Code)와 대화만으로, 유명인 일화를 30초 유튜브 쇼츠로 자동 생성하는 프로그램을 하루 만에 만들었습니다.
바쁘시면 이것만 읽어도 돼요:
Claude Code에게 "유튜브 쇼츠 자동화 파이프라인 만들어줘"라고 요청 → 인물 선정부터 영상 합성까지 원클릭 자동화
참고 이미지 한 장 보여줬더니 원하는 스타일의 프레임 UI를 바로 구현
아직 채널 운영 전이지만, 콘텐츠 양산 체계가 갖춰진 것 자체가 큰 성과
핵심 팁: 원하는 걸 말로 설명하기보다 참고 이미지/예시를 직접 보여주면 훨씬 정확
🎯 이런 분들께 도움돼요
AI 코딩 도구(Claude Code, Cursor 등)가 실제로 뭘 할 수 있는지 궁금한 분
유튜브 쇼츠 자동화에 관심 있지만 어디서부터 시작할지 모르는 분
"바이브 코딩"이 뭔지 직접 사례로 보고 싶은 분
😫 문제 상황 (Before)
유튜브 쇼츠 채널을 운영하고 싶었습니다. 요즘 쇼츠로 수익화하는 사례가 많이 보이길래, 저도 한번 해보고 싶었거든요.
그런데 영상 하나 만드는 게 보통 일이 아닙니다. 주제 선정, 대본 작성, 이미지 제작, 더빙, 자막, 편집… 30초짜리 짧은 영상인데도 이걸 매번 수작업으로 하려면 몇 시간씩 걸립니다.
"AI로 이 과정을 통째로 자동화할 수 있지 않을까?"
이 생각이 시작이었습니다. AI가 어디까지 해줄 수 있는지 실험해보고 싶었고, 잘 되면 콘텐츠 양산 체계를 만들어서 실제 채널도 운영해보려는 계획이었습니다.
🛠️ 사용한 도구
Claude Code: Anthropic의 AI 코딩 도구 (VS Code 확장)
모델: Claude Opus 4.6
기타: Google Gemini API (이미지 생성), Microsoft Edge TTS (음성 합성)
🔧 작업 과정
사전 준비 — 이미지 생성 스킬 만들기
파이프라인을 만들기 전에, 먼저 AI로 이미지를 생성하는 기능이 필요했습니다. Google의 Gemini API를 활용하기로 하고, Claude Code에게 요청했습니다.
제미나이 모델로 이미지 생성하는 스킬 구현해줘
Claude Code가 Gemini API 문서 20개 이상을 동시에 학습하더니, 이미지 생성 스크립트를 만들어줬습니다. "귀여운 고양이 그려줘"로 테스트해보니 — 잘 나옵니다. 이미지 생성 기반이 마련되었습니다.
본격 기획 — "쇼츠 자동화 파이프라인 만들어줘"
기반이 준비되자 본격적으로 요청했습니다.
유튜브 쇼츠 영상 자동화를 하여 영상 생성부터 업로드까지 한번에 진행되는 파이프라인을 구축하고 싶어. 영상 길이는 30초 내외, 이미지 기반의 영상이야. 주제는 유명인의 흥미로운 일화를 MZ스러운 말투로 소개하는 거야.
참고로 샘플 영상도 하나 넣어줬습니다. 워런 버핏의 핀볼 게임기 사업 이야기를 다룬 30초짜리 쇼츠였는데, Claude Code가 이 영상을 분석해서 프레임 구조, 자막 스타일, 템포까지 파악했습니다.
그러고 나서 꼼꼼한 기획서를 작성해줬는데, 여기서 중요한 건 제가 디테일한 피드백을 줬다는 겁니다.
1. 이미지 스타일은 한국 웹툰 스타일 중 간결하고 살짝 꾸질꾸질한 귀여운 그림체
2. 나레이션은 1.5배속으로 진행
3. 인물 선정은 자동으로 하되, 나한테 확인받아
4. BGM은 페이드인 페이드아웃 없이 타이트하게
그리고 원하는 이미지 스타일의 예시를 직접 보여줬습니다. 굵은 외곽선에 치비 비율, 최소한의 색상만 쓰는 한국 인터넷 밈 느낌의 그림체요. 이게 나중에 큰 차이를 만들었습니다.
구현 — 11개 파일이 한꺼번에 생성되다
기획이 확정되자 Claude Code가 본격적으로 코드를 작성하기 시작했습니다. 필요한 프로그램들을 설치하고, 한글 폰트를 다운로드하고, 폴더 구조를 만들더니 — 11개 파일을 생성했습니다.
자동화 파이프라인의 구조는 이렇습니다:
1단계) 인물 선정 + 대본 생성: AI가 자동으로 흥미로운 인물을 고르고, 그 인물의 일화를 MZ 말투 대본으로 변환
2단계) 이미지 생성: 대본의 각 장면에 맞는 웹툰 스타일 이미지를 자동 생성
3단계) 음성 더빙 + 자막: 대본을 한국어 음성으로 변환하고, 자막 타이밍을 자동 매칭
4단계) 영상 합성: 이미지 + 음성 + 자막 + 배경음악을 합쳐서 최종 영상 생성
이 전체 과정이 클릭 한 번으로 돌아갑니다.
v1 — 첫 번째 영상, 아이유
첫 테스트 영상의 주인공은 아이유였습니다. AI가 자동으로 선정하고, 저한테 "아이유로 진행해도 될까요?"라고 물어봤습니다. 승인하니 대본 생성 → 이미지 11장 생성 → 음성 합성 → 영상 합성까지 쭉 진행되었습니다.
결과물은… 영상이 나오긴 나왔습니다. 그런데 스토리가 아쉬웠어요. "아이유가 오디션 많이 떨어지고 사기도 당했지만 지금은 잘 나간다" 수준이었거든요. 알맹이가 없었습니다.
v2 — "스토리가 없어"
바로 피드백을 줬습니다.
1. 첫 화면 전환이 너무 빨리일어남. 썸네일 2초 정도 카메라 무빙 없이 진행
2. 영상에 스토리가 없음. 워런 버핏 핀볼 게임기처럼 흥미진진한 스토리가 필요
3. 자막을 다듬어야할듯. 한 문장을 한줄씩 표현해줘
4. 캐릭터가 인물과 닮았으면 좋겠어. 살짝 케리커처처럼
이 피드백 하나에 Claude Code가 대본 생성 방식을 완전히 바꿨습니다. 기존에는 인물 정보를 한꺼번에 대본으로 만들었는데, 이제는 2단계로 나눠서 — 먼저 정확한 팩트를 수집하고, 그걸 기반으로 5파트 에피소드 구조(후킹→전개→전환점→클라이맥스→마무리)의 대본을 만들도록 개선했습니다.
두 번째 영상은 마크 저커버그. "야후가 1조3천억을 제안했는데, 22살 저커버그가 거절하고, 6년 뒤 135조 기업공개를 한" 이야기. 확실히 스토리가 살아났습니다.
v3 — 참고 이미지 한 장의 힘
영상 퀄리티는 올라갔지만, 화면이 좀 밋밋했습니다. 유튜브에서 본 "썰아트", "썰콩" 같은 앱의 깔끔한 프레임이 있으면 좋겠다 싶어서, 스크린샷을 찍어서 보여줬습니다.
이런 심플한 프레임 있으면 보기 훨씬 편할거같아
이 순간이 가장 인상적이었습니다. 참고 이미지 한 장을 보여줬을 뿐인데, Claude Code가 상단 바, 자막 영역, 이미지 영역이 분리된 프레임 UI를 바로 만들어냈거든요. 말로 장황하게 설명했으면 몇 번은 수정 했을 텐데, 이미지 한 장이 천 마디를 대신한 셈입니다.
세 번째 영상은 일론 머스크. 7단계 인과 스토리로 "페이팔 매각으로 1.8억 달러 → 3개 회사 동시 창업 → 로켓 3번 폭발 → 금융위기에 전 재산 투입 → 통장에 2만 달러만 남음 → NASA 16억 달러 계약"까지. 프레임 UI 덕분에 보기에도 훨씬 깔끔해졌습니다.
예상 못한 버그 — 자막이 사라졌다
순탄하기만 한 건 아니었습니다. v3 영상을 확인하는데, 자막이 완전히 사라져 있었습니다.
음성과 일치하는 자막이 사라졌어!
프레임 UI를 새로 만드는 과정에서 자막 렌더링 방식이 꼬인 거였는데, Claude Code가 원인을 2개 찾아내고 수정해서 다시 영상을 만들어줬습니다. 당황스러웠지만, 문제를 말하기만 하면 알아서 찾아 고쳐주니까 크게 걱정되진 않았습니다.
✅ 결과 (After)
Before vs After
항목
Before
After
영상 제작 방식
수작업 (주제 선정~편집까지 직접)
클릭 한 번으로 전체 자동 생성
콘텐츠 양산 체계
없음
파이프라인 구축 완료
소요 기간
—
하루 (기획 + 구현 + 3회 개선)
결과물
자동화 프로그램: 인물 선정 → 대본 → 이미지 → 더빙 → 자막 → 영상까지 원클릭
생성된 영상 3개: 아이유, 마크 저커버그, 일론 머스크
영상 스펙: 1080x1920 세로형, 30초, 웹툰 케리커처 + MZ 말투 나레이션 + 프레임 UI
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
참고 이미지를 직접 보여주기: 원하는 스타일을 말로 설명하면 해석의 여지가 생기지만, 이미지를 보여주면 한 방에 이해합니다. 썰아트 프레임 UI도, 웹툰 그림체도 전부 이미지 한 장으로 해결했습니다.
빠르게 만들고 피드백하기: 처음부터 완벽하게 만들려고 하지 않았습니다. v1을 빠르게 만들고, 아쉬운 점을 피드백하고, 개선하고 — 이 사이클을 3번 돌렸더니 퀄리티가 확 올라갔습니다.
샘플/예시를 같이 주기: "스토리가 없어"라고만 하는 것보다, 워런 버핏 핀볼 사업 이야기를 예시로 같이 보여주니 원하는 방향을 정확히 잡아줬습니다.
이렇게 하면 안 돼요
추상적으로 요청하기: "좋은 영상 만들어줘"보다 "썸네일 2초 정지, 자막은 한 문장씩, 캐릭터는 인물과 닮게"처럼 구체적으로 말해야 합니다.
에러가 나면 포기하기: API 키 문제로 같은 에러가 3번 반복됐지만, 그때마다 AI가 원인을 찾아줬습니다. 에러는 과정의 일부입니다.
🌍 다른 업무에 적용한다면?
인스타 릴스/틱톡 자동화: 같은 구조에서 영상 비율과 스타일만 바꾸면 다른 플랫폼에도 적용 가능
교육 콘텐츠 자동 생성: 역사 인물 대신 학습 주제를 넣으면 교육용 숏폼 콘텐츠도 가능
뉴스레터/블로그 자동화: 영상 대신 텍스트+이미지 조합으로 변환하면 블로그 포스트 자동 생성에도 활용 가능
🚀 앞으로의 계획
영상 퀄리티 추가 개선: BGM 다양화, 효과음, 더 다양한 이미지 스타일
실제 유튜브 채널 운영 시작
유튜브 자동 업로드 기능 연동하여 완전 자동화 달성
📋 재사용 가능한 프롬프트
프롬프트 1: 자동화 파이프라인 기획 요청
[만들고 싶은 콘텐츠 종류]를 자동 생성하는 파이프라인을 구축하고 싶어. [콘텐츠 스펙: 길이, 형식, 플랫폼]에 최적화하고, [주제 범위]를 다룰 거야. [원하는 톤앤매너]로 진행했으면 좋겠어. 샘플은 [샘플 경로]에 넣어놨어. A부터 Z까지 꼼꼼하게 기획해줘.
프롬프트 2: 피드백으로 퀄리티 올리기
결과물 확인했어. 개선사항:
[구체적인 문제점 + 원하는 방향]
[참고 이미지/예시와 함께 설명]
이외의 개선사항 있으면 나한테 보고해줘
