소개
뉴스 영상 하나 만드는 건 이제 딸깍이면 될 줄 알았습니다.
한국 뉴스 링크 하나 넣고, 대만 사람이 보는 세로형 숏폼이 나오게 하면 끝!
...인 줄 알았는데!!!
막상 만들어 보니 영상 한 편보다 더 어려운 건 두 번째, 세 번째도 같은 흐름과 품질로 만드는 일이었습니다.
그래서 이번 목표를 바꿨습니다.
영상 한 편 만들기 ❌
의뢰인이 링크만 바꿔 계속 사용할 수 있는 반복 제작 시스템 만들기 ⭕
한국어 문자가 적힌 휴대전화와 한국어 문 자가 적힌 휴대전화
① 완성품보다 먼저 ‘생산라인’을 그렸습니다
입력은 단순합니다.
한국 뉴스 YouTube 링크 또는 UDN 기사 링크 하나.
하지만 출력까지 가려면 수집 → 전사 → 핵심 구간과 대본 → 대만 현지화 → 자막 정렬 → 대만 만다린 음성 → 배경 미디어 → 렌더 계획 → Remotion 렌더 → 게시 패키지 → 사람 검수까지 11단계를 지나야 했습니다.
여기서 중요한 건 AI에게 전부 맡기지 않은 것입니다.
로그인, 작업 상태, 저장, 실패 처리, 품질 검사는 고정 코드로 묶었습니다. 대본·번역·음성·화면 구성처럼 매번 판단이 필요한 부분만 AI 스킬로 분리했습니다. 최종 영상 합성은 별도 렌더 워커가 맡았습니다.
한마디로, 창의적인 일은 AI에게 맡기고 반복되어야 하는 일은 코드로 굳혔습니다.
사용 도구: Claude(대본), Gemini(전사·번역·화면 구성), GLM/Kimi(요약·검증), fal.ai(음성·캐릭터), Remotion(영상 합성), Fly.io(웹·렌더 워커), R2(결과 저장)
한국 비디오 오도의 다이어그램
② 의뢰인은 한 화면에서 링크만 넣게 했습니다
사용자는 뉴스 URL을 넣고 지역, 편집 스타일, 아나운서, 음성 언어를 고릅니다.
작업이 끝나면 같은 화면에서 영상을 재생하고, 통과 또는 반려를 선택합니다. 통과한 영상만 다운로드할 수 있고, 제목·설명·해시태그까지 업로드용 게시 패키지로 같이 나옵니다.
자동 업로드 직전까지는 기계가 만들고, 마지막 결정은 사람이 하는 구조입니다.
한국 데이트 웹사이트의 스크린샷
③ 실제로 나온 영상
아래 영상은 이 파이프라인으로 만든 39.5초 한국어 음성 초기 버전입니다.
번체 중국어 핵심 문구, 한국어 하단 자막, 배경 영상, 수치 강조 장면을 대본과 음성 타이밍에 맞춰 자동으로 조합했습니다.
그런데!!! 파이프라인은 한 번에 굳지 않았습니다
한국어 사용법을 보여주는 다이어그램
첫 번째 충격.
일주일 동안 한국어 음성과 한글 자막 중심으로 만들었더니 의뢰인이 말했습니다.
“한국어라서 대만인들이 안 봐요.”
??? 어??? 그건 맞지만... 그러면 기획이 깡그리 바뀌는데요?!
결국 대만을 첫 타깃으로 확정하고, 대만 만다린 음성 + 중앙 번체 문구 + 하단 한국어 자막으로 전면 재기획했습니다.
아래가 같은 파이프라인으로 다시 만든 53.4초 대만 만다린 음성 버전입니다.
음성은 대만 만다린, 화면 중앙은 번체 중국어, 하단은 한국어 검수 자막으로 구성했습니다.
두 번째 충격.
번역 품질이 이상해서 대만어 가능한 분에게 교차검증을 부탁했더니, 코드 속 번역 모델이 의도와 다르게 바뀌어 있었습니다. 최신 모델 로 다시 고정하고, 대만식 용어 글로사리와 검수 과정을 추가했습니다.
세 번째 충격.
로컬에서는 자막이 한 줄인데 실제 사이트에서는 두 줄로 깨졌습니다. 코드를 되돌릴 뻔했지만 원인은 코드가 아니라 웹 서버와 별도 렌더 서버의 배포 버전 불일치였습니다.
영상 파이프라인은 ‘생성 모델 연결’로 끝나는 일이 아니었습니다. 기획, 언어 검수, 렌더 인프라, 배포 동기화, 사람 검수까지 한 덩어리였습니다.
결과와 배운 점
실제 프로덕션 데모는 53.3초짜리 9:16 영상으로 완주했고, 품질 게이트 14개를 모두 통과했습니다.
그리고 이제는 링크가 바뀌어도 같은 11단계를 다시 탈 수 있습니다.
이번에 가장 크게 배운 건 이것입니다.
한 편을 잘 만들면 ‘작품’이고,
두 번째도 같은 흐름으로 만들 수 있으면 ‘파이프라인’입니다.
영상파이프라인 스터디에서 제가 굳히고 싶은 것도 바로 이 부분입니다. 새로운 툴을 하나 더 배우는 것이 아니라, 기획부터 대본·소스·음성·자막·렌더·검수·업로드 준비까지 반복 가능한 제작 습관과 시스템으로 만드는 것!
이번에는 영상 한 편이 아니라, 영상을 계속 만드는 공장을 만들었습니다.
다음 단계
현재는 사람 검수 뒤 다운로드와 게시 패키지 생성까지입니다. 다음에는 YouTube 실제 업로드 연결, 반려 사유를 다음 생성에 반영하는 피드백 루프, 영상별 제작 시간·비용 대시보드까지 붙여보려고 합니다.
