소개
회사에서 신규 입사자 온보딩이나 사내 프로세스 교육 영상을 만들 때마다 늘 같은 문제가 반복됐습니다.
기획 → 대본 작성 → 녹화 → 편집 → 업로드. 이 과정을 혼자 다 감당하면 영상 하나에 최소 이틀, 시리즈물이면 일주일 넘게 걸렸어요. 특히 대본이 문제였습니다. "이 내용을 어떤 순서로 설명해야 처음 보는 사람이 이해할까?" — 여기서 막혀서 기획만 하루를 날리는 일이 한두 번이 아니었거든요.
그래서 이걸 자동화할 수 있는지 직접 해보기로 했습니다.
목표: 교육 내용(텍스트 혹은 문서)을 넣으면 → 대본 자동 작성 → TTS 음성 생성 → 자막 포함 영상 완성 → 사내 채널 업로드까지 Claude Code 하나로 연결하는 것.
비개발자이지만, 코드를 몰라도 된다는 말을 믿고 시작했습니다.
진행 방법
사용한 도구
Claude Code: 전체 파이프라인 설계 및 코드 작성
ElevenLabs API: 한국어 TTS 음성 생성
Remotion: 이미지 + 음성 + 자막 합성 영상 렌더링
Gemini API: 교육 내용 관련 배경 이미지 자동 생성
YouTube Data API: 완성 영상 자동 업로드
1단계 — 교육 문서 분석과 대본 작성
먼저 기존에 갖고 있던 사내 교육 자료(PDF, 텍스트 문서)를 Claude Code에 넣고 지시했습니다.
"이 문서를 읽고, 신입사원이 처음 봐도 이해할 수 있는 3분짜리 숏폼 교육 영상 대본으로 만들어줘. 훅 → 핵심 내용 → 마무리 행동 촉구 구조로."
Claude Code가 문서 구조를 파악하고, 교육 목적에 맞게 내용을 정리한 다음 영상 대본을 뽑아줬습니다. 제가 한 건 문서를 던져주고 구조를 지정한 것뿐이었어요.
처음에는 대본이 너무 길어서 TTS로 변환하면 4분이 넘었습니다. "3분 이내, 핵심만"이라고 다시 지시하니 바로 재작성해줬습니다.
2단계 — TTS 음성 생성과 자막 싱크
대본이 완성되면 ElevenLabs API를 통해 음성 파일을 만들었습니다. Claude Code가 API 연동 코드까지 작성해줘서 별도 세팅 없이 바로 실행됐 어요.
여기서 첫 번째 시행착오가 있었습니다.
자막과 음성이 안 맞는 문제가 생겼는데, 장면 길이를 균등하게 나눠놨더니 말이 빨리 끝나도 자막이 한참 뒤에 넘어가는 현상이 생겼습니다. Claude Code에 상황을 설명했더니 "음성 파일의 실제 길이를 측정해서 그 값을 기준으로 장면 타이밍을 계산하자"는 방식을 제안해줬고, 수정 후 바로 해결됐습니다.
3단계 — 배경 이미지 자동 생성
교육 영상이다 보니 딱딱한 텍스트 슬라이드보다 내용과 연관된 이미지가 있으면 집중도가 높아집니다. Gemini API를 연결해서 대본의 각 섹션 키워드를 기반으로 배경 이미지를 자동 생성했습니다.
프롬프트를 직접 짜지 않아도 됐습니다. Claude Code에 "각 장면의 키워드에서 이미지 생성 프롬프트를 만들고, Gemini로 이미지 뽑아줘"라고 하면 알아서 처리했어요.
4단계 — 영상 렌더링과 자동 업로드
Remotion으로 이미지 + 음성 + 자막을 합쳐 세로형 9:16 영상을 렌더링했습니다. 완성된 영상은 YouTube Data API를 통해 사내 비공개 채널에 자동 업로드됩니다. 제목, 설명, 태그까지 대본 내용에서 자동으로 생성해서 넣어줘요.
결과와 배운 점
결과
기존 이틀 이상 걸리던 교육 영상 1편을 하루 안에 완성
문서만 있으면 대본 → 음성 → 영상 → 업로드까지 파이프라인이 자동으로 실행
첫 테스트: 사내 보안 정책 교육 영상 3분 완성 (자막 싱크 포함)
배운 점과 꿀팁
한 번에 다 맡기는 게 낫습니다. "대본 써줘" → "이미지 만들어줘" → "합쳐줘"처럼 단계별로 잘라서 지시하는 것보다, 전체 흐름을 한 번에 설명하고 맡기는 게 훨씬 빠르게 원하는 결과에 도달했습니다.
에러 메시지를 그대로 붙여넣으면 됩니다. 코드가 오류 나면 터미널 메시지를 복사해서 Claude Code에 그냥 붙여넣기. 원인 파악부터 수정까지 알아서 해줍니다. 저는 오류 내용을 이해하려고 애쓰지 않고 그냥 넘겼어요.
샘플 테스트를 먼저 하세요. 영상 45편을 한꺼번에 돌리기 전에 1편 먼저 돌려보는 습관이 중요합니다. 저는 처음에 바로 시리즈 전체를 돌렸다가 자막 싱크 문제를 전편에서 다 수정해야 했습니다.
시행착오
YouTube API 인증 문제: OAuth 설정 과정에서 권한 오류가 계속 났습니다. Claude Code가 인증 흐름을 단계별로 안내해줬고, 결국 서비스 계정 방식으로 바꿔서 해결했습니다. 비개발자 입장에서 이 부분이 가장 막막했는데, 문제 상황을 텍스트로 설명하니 Claude Code가 같이 디버깅해줬습니다.
대본 길이 조절: AI가 처음 뽑아주는 대본은 항상 길었습니다. "3분 이내"라는 조건만으론 부족하고, "TTS 기준 약 450자 이내"처럼 구체적인 수치를 주는 게 훨씬 정확하게 맞았습니다.
도움이 필요한 부분
현재 영상 스타일이 단순한 이미지 + 자막 구성이라 조금 밋밋합니다. 애니메이션 전환 효과나 캐릭터 삽입처럼 시각적으로 더 풍부하게 만드는 방법이 있으면 같이 고민해보고 싶습니다.
앞으 로의 계획
지금은 문서를 직접 넣어줘야 파이프라인이 돌아가는 구조인데, 다음 단계로는 사내 위키나 노션 페이지 URL을 입력하면 자동으로 내용을 가져와서 영상까지 만드는 구조로 발전시키고 싶습니다. 정기적으로 업데이트되는 사내 정책이나 프로세스 변경 사항을 자동으로 영상화할 수 있으면 훨씬 쓸모가 커질 것 같습니다.
