본문으로 건너뛰기

쇼츠 & 릴스 자동화 완전 no api, full 로컬로 돌려보기 (수정중)

샘호트만

2026.09.20

쇼츠 & 릴스 자동화 완전 no api, full 로컬로 돌려보기

[영상 예시 자리 — 맨 앞]
(제작중)


📝 한줄 요약

메모장에 대본 한 장만 쓰면 목소리·자막·화면·편집·검수까지 전부 자동으로 굴러가 세로 영상 한 편이 나오는 파이프라인을 두 달간 만들었습니다. 목소리 합성도, 아바타 립싱크도, 영상 생성도 전부 내 컴퓨터 안에서 돌아갑니다. 편당 미디어 비용 0원입니다.


🎯 이런 분들께 도움돼요

  • 인스타 릴스·유튜브 쇼츠를 꾸준히 올리고 싶은데 한 편 만드는 게 너무 귀찮은 분

  • 모션 그래픽·영상 편집을 한 번도 안 해본 분 (저도 코드로 영상 만드는 건 처음이었습니다)

  • AI로 영상을 뽑아봤는데 결과물이 "AI가 만든 티"가 나서 못 올린 분

  • 유료 API 요금이 무서워서 자동화를 못 시작한 분

  • 리드 수집용 콘텐츠를 양으로 밀어야 하는 1인 사업자·마케터


😫 문제 상황 (Before)

솔직히 말하면 시작은 거창하지 않았습니다. 영상 하나 만드는 게 그냥 귀찮았어요.

릴스 한 편을 제대로 만들려면 이런 걸 해야 합니다. 소재 정하고, 대본 쓰고, 목소리 녹음하고, 화면에 넣을 자료 모으고, 편집 프로그램 열어서 컷 나누고, 자막을 말하는 타이밍에 맞춰 한 줄씩 찍고, 글자 크기랑 위치 맞추고, 음악 깔고, 볼륨 맞추고, 내보내기. 익숙해도 반나절입니다.

문제는 한 편이 아니라 계속 올려야 한다는 거였습니다. 인스타그램을 비롯한 여러 플랫폼에서 리드(잠재 고객)를 모으려면 결국 콘텐츠를 꾸준히 밀어야 하는데, 한 편에 반나절이 드는 구조로는 애초에 불가능합니다. 이건 의지 문제가 아니라 구조 문제라고 판단했습니다.

그래서 목표를 이렇게 잡았습니다.

"내가 하는 일은 대본 쓰기 하나로 줄이고, 나머지 전부를 기계가 하게 만들자."

그리고 조건을 하나 더 붙였습니다. 돈이 나가면 안 된다. 유료 API로 자동화하면 한 편당 몇 천 원씩 새고, 그러면 "많이 만든다"는 목표랑 정면으로 충돌하니까요. 그래서 API 없이, 전부 내 컴퓨터에서 돌리는 걸 전제로 깔았습니다.


🛠️ 사용한 도구

조종석

항목

내용

AI 도구

Claude Code & Codex

모델

Claude Opus 5 (생성) -> 개발은 gpt6, gemini, fable

역할

제가 말로 시키면 파일을 읽고, 코드를 쓰고, 프로그램을 돌리고, 결과를 보고합니다

내 장비

항목

스펙

GPU

RTX 5090 (VRAM 32GB)

CPU

Ryzen 9 9950X

OS

Windows 11

이 글에 나오는 실측 숫자는 전부 이 장비 기준입니다. 다만 아래에서 다시 말하겠지만, 이 장비가 없어도 영상은 완성됩니다. GPU가 필요한 건 아바타와 영상 생성뿐이고, 그 둘은 꺼도 릴스가 나오도록 만들어 뒀습니다.

실제로 영상을 만드는 것들 (전부 로컬)

하는 일

쓰는 것

돈

어디서 도나

목소리 합성

Fish Speech S2-Pro

0원

내 GPU

목소리 합성 (가벼운 버전)

Supertonic (내장 목소리 10종)

0원

내 CPU

전사

Whisper large-v3

0원

내 GPU

아바타 립싱크

InfiniteTalk (ComfyUI에서 구동)

0원

내 GPU

영상 생성

MiniMax H3 (ComfyUI에서 구동)

0원

내 GPU

화면·모션 그래픽

Remotion (코드로 영상을 그리는 엔진)

0원

내 CPU

최종 인코딩·믹싱

ffmpeg

0원

내 CPU

🔍 "완전 no api"가 정확히 무슨 뜻인지 (정직하게)

솔직하게 선을 그어두겠습니다.

  • 미디어를 만드는 쪽은 100% 로컬, 0원이 맞습니다. 목소리, 아바타, 영상 생성, 렌더링, 인코딩 — 전부 제 컴퓨터 밖으로 안 나갑니다. 계정도, 키도, 요금도 없습니다.

  • 조종석인 Claude Code는 구독입니다. 대본을 받아서 "이제 뭘 할 차례"를 판단하고 코드를 쓰는 건 Claude가 합니다. 이건 API 요금제가 아니라 월 구독이라 편수를 늘려도 비용이 안 늘어납니다.

  • 이미지 생성(Higgsfield)만 외부 서비스 자리를 열어뒀습니다. 그런데 이건 꺼도 영상이 완성됩니다. 실제로 남에게 나눠주는 배포판은 꺼져 있습니다.

즉 "편을 하나 더 만들 때 추가로 나가는 돈 = 0원" 이 이 글에서 말하는 no api입니다.


🧭 잠깐, 영상 자동화가 대체 뭔지부터 (3분 컷)

영상 편집 안 해보신 분을 위해 딱 네 개만 짚고 갑니다. 이거 알면 아래 내용 전부 읽힙니다.

① 씬 (Scene) = 한 장면
영상을 "컷"으로 잘랐을 때 한 토막입니다. 인형극의 한 장면이라고 생각하면 됩니다. 막이 내렸다 올라가면 다음 장면.

② 렌더 (Render) = 굽기
"3초에 이 글자가 왼쪽에서 들어온다" 같은 설계도를 실제 mp4 동영상 파일로 굽는 작업입니다. 오븐에 넣는 것과 같습니다. 재료를 아무리 잘 준비해도 구워야 먹을 수 있습니다.

③ Remotion = 코드로 영상을 그리는 엔진
이게 이 시스템의 핵심인데, 가장 낯선 부분일 겁니다.

보통은 프리미어나 캡컷을 열고 마우스로 글자를 끌어다 놓습니다. Remotion은 그걸 글로 적습니다. "0.5초부터 1.2초까지 이 글자를 아래에서 위로 28픽셀 올린다"처럼요.

비유: 종이인형극 대본. 인형을 손으로 움직이는 대신, "3초에 토끼가 왼쪽에서 등장"이라고 적어두면 그대로 움직여 줍니다.

왜 굳이 이렇게 하냐면 — 글로 적힌 건 AI가 고칠 수 있기 때문입니다. 마우스로 끌어놓은 건 제가 다시 끌어야 하지만, 글로 적힌 건 "자막을 조금 위로 올려줘"라고 말하면 AI가 고칩니다. 자동화가 가능해지는 지점이 바로 여기입니다.

④ 게이트 (Gate) = 자동 검사원
"이거 통과 / 이거 멈춤"을 기계가 판정하는 검사입니다. 자막이 화면 밖으로 나갔는지, 소리가 영상보다 짧은지, 로고가 승인된 파일인지 같은 걸 사람 눈 대신 자동으로 잡습니다.

비유: 공항 검색대. 예쁜지는 안 봅니다. 위험한 게 있는지만 봅니다.

이 구분이 나중에 굉장히 중요해집니다. 게이트가 전부 통과해도 영상이 예쁘다는 뜻은 아닙니다.


🔧 작업 과정

1단계. 사람이 쓰는 파일은 딱 하나 — 대본

가장 먼저 정한 원칙입니다. 대본은 사람이 쓴다.

AI한테 대본까지 맡겨보기도 했는데, 결과가 항상 어딘가 미끄러웠습니다. 그래서 역할을 이렇게 잘랐습니다. 내용은 내가, 만드는 건 AI가.

그래서 제가 직접 손대는 파일은 메모장으로 열리는 텍스트 파일 하나입니다. 규칙이 세 개뿐입니다.

  1. 한 줄이 한 호흡. 줄 단위로 목소리가 합성됩니다.

  2. 숫자는 한글로. 9개월이 아니라 구 개월.

  3. 영문 브랜드는 원문 그대로. 읽는 법은 사전이 따로 갖고 있습니다.

실제 대본은 이렇게 생겼습니다.

전 세계 개발자들이 지금 이 무료 AI 비서에 미쳐 있습니다.
이름은 OpenClaw, 구 개월 만에 GitHub 스타 삼십팔만 개를 넘긴 오픈소스입니다.
설치는 명령 한 줄이면 끝나고, WhatsApp, Telegram, Slack, 쓰던 메신저로 비서가 들어옵니다.

이게 전부입니다. 영상에 대한 지시는 한 글자도 없습니다. 장면도, 글자 크기도, 색깔도 안 적습니다. 그건 다음 단계부터 기계 몫입니다.

그리고 Claude에게 이렇게 말합니다.

첫 편 만들어줘. 슬러그는 my-first, 소재는 examples/first-reel 의 자료를 그대로 써 줘.

[이미지 자리 — 작업 과정 1] 메모장에 열린 대본 파일 + 옆에 Claude Code 터미널


2단계. 목소리 — 내 목소리를 복제해서 읽힌다

대본이 확정되면 목소리가 붙습니다. 여기서 Fish Speech S2-Pro를 씁니다.

이게 재밌는 점은 제로샷 클로닝이라는 건데, 쉽게 말하면 제 목소리 샘플 몇 초만 있으면 학습 없이 바로 제 목소리로 아무 문장이나 읽어준다는 뜻입니다. 모델을 며칠씩 훈련시키는 과정이 아예 없습니다. 샘플 넣고, 문장 넣으면, 제 목소리가 나옵니다.

GPU가 없는 분을 위해 Supertonic이라는 가벼운 길도 같이 깔아뒀습니다. 이건 CPU만으로 돕니다. 실측 9~12배속이라 30초짜리 대본을 읽히는 데 3초쯤 걸립니다. 모델 용량도 385MB라 처음 한 번만 받으면 끝입니다. 남성 5종·여성 5종 중에 고르는 방식이라 내 목소리는 아니지만, GPU 없이 릴스 한 편을 완주할 수 있게 해주는 게 핵심입니다.

목소리 바꾸는 건 말 한마디입니다.

목소리를 F2로 바꿔서 다시 합성해 줘. 길이가 달라지니까 씬 길이랑 자막 시각도 다시 맞춰 줘.

💥 여기서 제대로 한 번 뒤통수를 맞았습니다

영상을 뽑아놓고 들어보니 4장을 "사 장"이라고 읽고 있었습니다. "네 장"이어야 하는데요. TTS는 이런 실수를 많이 합니다.

처음엔 모델 버그인 줄 알았습니다. 아니었습니다. 숫자를 한글로 안 적어두면 합성 모델이 매번 읽는 법을 새로 고릅니다. 잘 읽을 때도 있고 못 읽을 때도 있던 이유가 이거였습니다.

그래서 "숫자 읽는 규칙표를 만들자"고 했는데, 이게 두 번째 함정이었습니다.

표기

올바른 읽기

계열

41개

마흔한 개

고유어

208번

이백팔 번

한자어

둘 다 "20 이상 + 단위"인데 정반대로 갈립니다. 제가 세우려던 규칙표는 둘 다 틀렸습니다. 한국어 수사는 문맥이 정하지 규칙이 정하지 않더군요.

그래서 방식을 바꿨습니다. 규칙표를 버리고, 판정할 때마다 사전에 쌓는 걸로. AI가 문맥을 보고 읽는 법을 정하면, 그 판정을 파일에 적어둡니다. 다음 편은 같은 표기를 다시 고민하지 않습니다.

여기서 배운 게 하나 더 있습니다. 사전에 없는 영문·숫자가 대본에 남아 있으면 시스템이 아예 합성을 거부하고 멈춥니다. 처음엔 짜증났는데, 지금은 이게 이 시스템에서 제일 마음에 드는 동작입니다. "틀린 걸 조용히 만들어내는 것"보다 "멈추는 것"이 압도적으로 낫습니다. 조용히 틀린 영상은 제가 올린 다음에야 발견되니까요.

관련 내용으로는 콘텐츠 올려놨었습니다
https://youtu.be/upJhz8I40b0

https://youtu.be/MPYS-I__Jgg


3단계. 자막 — 말하는 순간에 글자가 뜨게 하는 법

자막이 영상 퀄리티를 제일 크게 가릅니다. 그런데 이걸 손으로 맞추는 게 제일 지루합니다.

여기선 Whisper(음성을 받아적는 AI)가 합성된 목소리를 거꾸로 받아적어서, 어느 단어가 몇 초에 나왔는지 시각을 뽑아냅니다. 그 시각에 자막 큐를 꽂습니다.

처음 보면 이상합니다. "내가 쓴 대본을 아는데 왜 다시 받아적지?" 그런데 필요한 건 글자가 아니라 시각입니다. 대본은 "무엇을 말하는지"만 알려주고, "언제 말하는지"는 합성된 음성만 압니다.

GPU 없는 환경을 위해 여기도 대안을 뒀습니다. Whisper를 아예 끄고, 실측된 문장 경계 안에서 글자 수 비례로 시각을 추정하는 방식입니다. 오차 0.15초쯤인데, 자막 한 줄 단위에는 충분합니다. 다운로드 0, 의존성 0입니다.

💡 여기서 얻은 인사이트: 자동화는 "제일 좋은 방법 하나"를 고르는 게 아니라, "이게 없으면 어떻게 할 건가"를 미리 정해두는 일이었습니다. GPU가 없으면 멈추는 게 아니라 정확도를 조금 내주고 계속 가게 만드는 것. 이 구조를 만들고 나서야 시스템이 남에게 넘길 수 있는 물건이 됐습니다.


4단계. 화면 — AI로 "생성"하는 게 아니라 코드로 "그린다"

여기가 이 시스템에서 제일 남다른 선택이고, 결과적으로 가장 잘한 결정이었습니다.

요즘 영상 자동화는 대부분 "AI한테 영상 클립을 생성시켜서 이어붙이기"입니다. 저는 그 길을 메인으로 쓰지 않습니다. 릴스의 뼈대는 Remotion 코드입니다.

이유가 셋입니다.

① AI 생성 클립은 "AI 티"가 납니다. 사람이 제일 먼저 알아채고, 제일 먼저 스크롤을 내리는 지점입니다.

② 생성물은 못 고칩니다. 마음에 안 들면 다시 뽑아야 하는데, 다시 뽑으면 또 다른 게 나옵니다. 코드는 "저 글자 8픽셀만 내려"가 됩니다.

③ 공짜고, 빠르고, 매번 똑같이 나옵니다.

그래서 화면을 이렇게 채웁니다. 실제 스크린샷 + 코드로 그린 카드·도형·타이포그래피 + 데이터에서 나온 숫자. 전부 근거가 있는 것들입니다.

💥 그런데 여기서 제일 아픈 걸 배웠습니다

초반에 만든 편들이 자꾸 "뭔가 정신없고 어설프다"는 느낌이 났습니다. 원인을 찾으려고 잘 만든 레퍼런스 영상과 제 영상을 프레임 단위로 측정해서 비교했습니다.

결과가 충격이었습니다.

항목

레퍼런스

제 영상

결론

초당 이벤트 수

1.70

1.20

상대가 더 많이 움직임

화면이 정지한 비율

19%

42%

제가 더 자주 멈춤

레퍼런스가 저보다 더 많이 움직이는데 더 편안했습니다. 제 가설("너무 정신없나?")과 정반대였죠.

진짜 범인은 컷마다 화면 구성을 새로 짜는 것이었습니다. 레퍼런스는 틀은 고정해두고 그 안의 내용만 바꿉니다. 저는 컷마다 판을 뒤엎고 있었습니다. 그래서 더 적게 움직이는데도 더 산만했던 겁니다.

💡 이건 영상 밖에도 적용되는 인사이트였습니다. "정신없다"의 반대는 "덜 움직이는 것"이 아니라 "틀이 고정되어 있는 것"입니다. 프레젠테이션도, 대시보드도, 웹페이지도 같습니다.

또 하나. 페이스를 만드는 건 컷이 아니라 자막이었습니다. 레퍼런스는 자막 전환 48회에 컷은 19회였습니다. 컷을 늘리는 게 아니라 글자를 더 자주 바꾸는 게 리듬을 만들고 있었습니다.

[이미지 자리 — 작업 과정 2] 잘 만든 영상 vs 제 초기 영상 프레임 비교 (나란히)


5단계. 아바타 — 유료 API에서 시작해서 결국 내 컴퓨터로 끌고 왔다

말하는 얼굴(립싱크 아바타)은 이 프로젝트에서 제일 길게 헤맨 부분입니다.

처음엔 유료 API로 시작했습니다. 초당 약 0.03달러. 한 편에 아바타를 네 군데 넣으면 대략 0.6~0.8달러였습니다. 한 편이면 괜찮은데, 한 달에 30편이면 얘기가 달라집니다. 게다가 마음에 안 들어서 다시 뽑으면 그만큼 또 나갑니다.

모델도 몇 번 갈아엎었습니다. 처음 붙였던 모델은 결과물이 마음에 안 들어서 전부 반려했고, 중간에 정확도가 압도적으로 좋은 모델을 찾았다가 결국 철거했고, 최종적으로 InfiniteTalk으로 확정했습니다.

그리고 제일 중요한 결정 — 같은 모델을 내 컴퓨터에서 돌리는 것이었습니다.

유료 서비스가 쓰는 모델과 제가 로컬에서 돌리는 모델이 완전히 같은 모델이었습니다. 기술을 바꾼 게 아니라 실행 위치만 옮긴 겁니다. 남의 서버에서 돌리던 걸 제 RTX 5090에서 돌리도록.

결과는 이렇습니다.

유료 API

로컬 (RTX 5090)

편당 비용

약 0.6~0.8달러

0원

화질

기준

더 좋음 (해상도 제한이 없어서)

속도

빠름

30초 영상에 약 25분

재시도

할 때마다 돈

무제한

느립니다. 30초 영상 만드는 데 25분 걸립니다. 그런데 자는 동안 돌리면 됩니다. 그리고 재시도가 공짜라는 게 생각보다 훨씬 큽니다. "돈이 아까워서 이 정도로 타협"하는 순간이 사라졌습니다.

로컬로 옮기면서 밟은 지뢰 세 개

  1. 오디오를 미리 품질 낮춰서 넣지 말 것. 모델이 알아서 처리하는데, 미리 낮추면 그 낮아진 소리가 그대로 최종 영상에 실려 나갑니다.

  2. "오디오 길이에 맞춰 자르기" 옵션을 반드시 켤 것. 안 켜면 5초 오디오에 6.12초 영상이 나옵니다.

  3. 아바타와 목소리 합성을 동시에 돌리지 말 것. 둘 다 GPU 메모리를 쓰는데, 같이 돌리면 서로 뺏느라 속도가 65초/스텝까지 떨어집니다. 따로 돌리면 훨씬 빠릅니다.

💡 여기서 얻은 인사이트: "유료 API를 쓴다"와 "로컬로 돌린다"가 다른 기술인 줄 알았는데, 많은 경우 똑같은 오픈소스 모델을 누가 대신 실행해주느냐의 차이였습니다. 편수를 늘릴 계획이 있다면 이 구분을 아는 것만으로 비용 구조가 완전히 달라집니다.


6단계. "AI 티"를 기계가 잡게 만들기 — 게이트 32개

이게 이 프로젝트에서 제일 많은 시간을 쓴 부분이고, 솔직히 제일 자랑하고 싶은 부분입니다.

자동화 자체는 어렵지 않았습니다. 진짜 문제는 "자동으로 나온 영상이 못 봐주겠다"는 거였습니다.

그래서 제 눈이 잡아낸 문제를 매번 기계 검사로 옮겼습니다. 지금 32개가 돌아갑니다.

검사 예시

잡는 것

자막이 화면 밖으로 나갔나

잘린 글자

목소리가 영상보다 짧나

뒤에 남는 정적

로고가 승인된 파일인가

아무 이미지나 갖다 쓰는 것

화면에 나온 숫자에 출처가 있나

지어낸 수치

빈 상자만 덩그러니 있는 프레임이 있나

내용 없이 틀만 있는 장면

최종 음량이 -14 LUFS인가

플랫폼마다 볼륨이 튀는 것

글자가 안 깨지고 나왔나

깨진 한글

💥 그런데 여기서 가장 값진 교훈이 나왔습니다

한 번은 게이트 12개가 전부 초록불인 영상을 만들어놓고 자신 있게 봤는데, 보자마자 반려했습니다. 여러 번 그랬습니다.

깨달은 건 이겁니다.

기계 검사 통과 ≠ 잘 만든 영상

게이트는 "위험한 게 없다"는 것만 증명합니다. "좋다"는 증명하지 못합니다. 이걸 인정하고 나서 시스템 구조를 바꿨습니다. 판정을 네 가지로 쪼갰습니다.

상태

누가 판정

기술적으로 안 깨졌나

기계

내용이 사실인가

기계 + 출처

구현이 설계대로 됐나

기계

예쁜가 / 올릴 만한가

사람(나)

그리고 "완료"라는 말을 이 넷이 다 설 때만 쓰기로 했습니다.

또 하나 배운 게 있습니다. 규칙을 문서에 더 쓴다고 지켜지지 않습니다. 안 지켜지는 규칙을 발견하면 문서를 다시 쓰는 게 아니라 "그 규칙이 실행되는 자리까지 도달했나"를 물어야 했습니다. 효과 순서가 이렇게 정리됐습니다.

기계 검사 > 실패 메시지 안에 처방을 넣기 > 문서 포인터 > 그냥 문서에 적기

맨 아래는 거의 효과가 없었습니다.

💡 이건 팀 운영에도 그대로 쓰입니다. "이러지 말라고 문서에 써뒀는데 왜 또"의 답은 문서를 고치는 게 아니라, 그 지점에 자동 검사를 놓는 것이었습니다.

[이미지 자리 — 작업 과정 3] 게이트 실행 결과 화면 (PASS/FAIL 목록)


7단계. 굽기 — 그리고 한 번에 두 벌

마지막은 렌더입니다. 1080×1920, 초당 60프레임 세로 영상으로 굽습니다.

여기서도 안전장치를 하나 뒀습니다. 기본 모드가 "테스트"입니다. 테스트 모드에서는 절반 해상도로 빨리 굽고, 최종본은 아예 나오지 않게 막혀 있습니다. 진짜 최종본을 뽑으려면 프로젝트 파일에 "이건 진짜 제작이다"라고 명시적으로 선언해야 합니다.

왜 이렇게 했냐면 — 절반 해상도 영상을 실수로 업로드한 적이 있었기 때문입니다. 실수 한 번을 시스템 구조로 막는 쪽을 택했습니다.

그리고 새 영상은 무조건 두 벌로 나옵니다. 릴스판과 쇼츠판. 본편은 같고 마지막 마무리 멘트만 갈립니다. 같은 편지를 봉투만 두 종류로 보내는 것과 같습니다.

실측 속도 (제 장비 기준, 49초짜리 한 편):

단계

시간

목소리 합성

7.8초

영상 렌더 (절반 크기 검토용)

27.6초

검사 + 붙이기

3.5초

합계

32.6초

반나절이 32초가 됐습니다. (아바타를 넣으면 여기에 렌더 시간이 크게 더해집니다.)


✅ 결과 (After)

Before vs After

항목

Before

After

한 편 제작 시간

반나절 (4~5시간)

대본 쓰는 시간 + 렌더 33초

내가 직접 하는 일

기획·대본·녹음·편집·자막·음악·검수

대본 쓰기 + "예쁜지" 판정

편당 미디어 비용

유료 API 쓰면 편당 수백~수천 원

0원

재시도 비용

뽑을 때마다 돈

0원 (무제한)

자막 타이밍

한 줄씩 손으로

자동

품질 검사

내 눈 (놓침)

기계 32종 + 내 눈

두 플랫폼 대응

따로 편집

자동 2벌

두 달간 쌓인 것

항목

수

개발 기간

2026-07-19 ~ 09-20 (약 2개월)

커밋

274개

만든 영상 프로젝트

87개

완성 마스터 영상

54편

AI에게 주는 작업 지침(스킬)

40종

자동 품질 검사

32개

결과물

[영상 예시 자리 — 결과] 맨 앞 갤러리와 중복되면 여기는 생략하거나, "같은 시스템으로 뽑은 다른 스타일" 2편을 배치


💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 역할을 자르세요 — "내용은 내가, 만드는 건 AI가"
AI에게 대본까지 맡기면 결과가 항상 미끄러집니다. 판단이 필요한 건 내가 하고, 노동을 AI에게 넘기는 경계를 명확히 그으면 결과가 확 좋아집니다.

2. 눈으로 잡은 문제를 반드시 자동 검사로 옮기세요
"이거 이상한데?"를 한 번 발견하면, 고치고 끝내지 말고 "다음에 또 이러면 자동으로 잡히게" 만드세요. 이걸 32번 반복한 게 이 시스템의 전부입니다.

3. 틀린 걸 만드는 것보다 멈추는 게 낫습니다
애매하면 그럴듯하게 진행하지 말고 멈추도록 만드세요. "그럴듯하게 틀린 결과"가 제일 위험합니다. 조용히 틀린 건 올리고 나서야 발견됩니다.

4. "이게 없으면 어떻게 할 건가"를 미리 정해두세요
GPU가 없으면, API 키가 없으면, 음악 파일이 없으면 — 각각 어떻게 대신할지 정해두면 시스템이 남에게 넘길 수 있는 물건이 됩니다.

5. 감으로 판단하지 말고 재세요
"우리 영상이 너무 정신없나?"라고 생각했는데 측정해보니 오히려 덜 움직이고 있었습니다. 레퍼런스와 내 결과물을 숫자로 비교하는 순간 방향이 완전히 뒤집혔습니다.

6. 위험한 작업은 기본값을 안전한 쪽에 두세요
기본 모드를 "테스트"로 두고, 진짜 제작은 명시적으로 선언하게 했습니다. 실수 한 번의 비용이 구조로 사라집니다.

이렇게 하면 안 돼요

1. 검사가 다 통과했다고 완료라고 말하지 마세요
기계는 "안 깨졌다"까지만 증명합니다. "좋다"는 사람만 판정할 수 있습니다. 이걸 섞어서 보고하면 자기 자신도 속습니다.

2. AI가 "다 됐습니다"라고 하면 결과물을 직접 보세요
AI가 작업 보고에 제가 시킨 적 없는 단어를 쓰면, 시키지도 않은 걸 추가했다는 신호였습니다. 실제로 하단에 목차 같은 걸 멋대로 넣어놨던 적이 있습니다. 보고서를 믿지 말고 결과 화면을 여세요.

3. 규칙이 안 지켜진다고 문서를 더 쓰지 마세요
문서에 규칙을 추가하는 건 거의 효과가 없었습니다. "그 규칙이 실행되는 자리까지 도달했나"를 물어야 합니다.

4. 한국어 발음을 규칙표로 만들려고 하지 마세요
41개는 "마흔한 개", 208번은 "이백팔 번"입니다. 같은 형태인데 반대로 갈립니다. 문맥이 정하는 걸 규칙으로 잡으려다 시간만 날렸습니다.

5. GPU 작업을 동시에 돌리지 마세요
메모리를 서로 뺏어서 둘 다 느려집니다. 하나 끝내고 메모리 비우고 다음 걸 돌리는 게 훨씬 빠릅니다.


🌍 다른 업무에 적용한다면?

이 시스템의 진짜 구조는 "영상 만들기"가 아니라 이겁니다.

텍스트 한 장을 넣으면 → 정해진 순서로 지나가면서 → 자동 검사를 통과한 결과물이 나오고 → 마지막 판정만 사람이 한다

이 틀은 영상 말고도 그대로 씁니다.

  • 제안서·보고서 자동화 — 핵심 내용만 쓰면 브랜드 템플릿에 얹히고, "숫자에 출처가 있나 / 로고가 최신인가 / 빈 페이지가 있나"를 자동 검사

  • 상세페이지 / 배너 대량 생산 — 카피 한 줄에서 여러 사이즈로 자동 전개. "글자가 안 잘렸나"는 기계가 검사

  • 뉴스레터·블로그 발행 — 원고 넣으면 포맷팅·이미지 배치·링크 검증까지 자동, 발행 버튼만 사람이

  • 사내 교육 영상 — 스크립트만 쓰면 목소리·자막·화면까지. 회사 밖으로 데이터가 안 나가는 로컬 구성이라 보안 부담도 적음

공통 원칙은 하나입니다. 반복되는 판단을 발견할 때마다 자동 검사로 내리세요. 그 검사가 쌓인 만큼 사람이 볼 곳이 줄어듭니다.


🚀 앞으로의 계획

1. 진짜 목적이었던 리드 수집 돌려보기
애초에 이걸 만든 이유가 인스타그램을 비롯한 플랫폼에서 리드를 모으는 거였습니다. 시스템은 섰으니 이제 편수를 실제로 밀어보고, 어떤 소재·어떤 훅이 실제 리드로 이어지는지 데이터를 모을 차례입니다.

2. 대본까지 반쯤 자동화
지금 사람이 하는 건 대본 쓰기 하나인데, 이것도 소재만 주면 구조가 다른 초안 3개를 뽑아 비교하는 데까지 와 있습니다. 여전히 고르고 다듬는 건 제가 하지만, 백지에서 시작하지 않는 것만으로도 차이가 큽니다.

3. GPU 없이도 되는 배포판 다듬기
남에게 넘길 수 있는 형태를 이미 만들어뒀습니다 — GPU도, API 키도, 유료 계정도 없이 한 편이 완주됩니다. 여기를 더 다듬어서 "내 컴퓨터에서만 되는 것"을 "누구 컴퓨터에서나 되는 것"으로 만드는 게 목표입니다.

4. 발행까지 이어 붙이기
지금은 영상 파일까지 나오고, 제목·설명·해시태그·커버 이미지까지는 자동으로 나옵니다. 여기서 업로드까지 이어 붙이면 진짜로 "대본 쓰면 올라간다"가 됩니다.



🎬 마무리

두 달 전에 제가 원했던 건 단순했습니다. 영상 만드는 게 귀찮으니까 좀 편하게 하고 싶다.

그런데 만들다 보니 진짜 배운 건 영상 기술이 아니었습니다. "AI에게 일을 넘기는 법" 이었습니다.

핵심은 세 문장으로 줄어듭니다.

  1. 판단은 내가, 노동은 AI가 — 이 선을 명확히 그을수록 결과가 좋아집니다.

  2. 눈으로 잡은 문제는 기계 검사로 내려보내세요 — 이게 쌓인 만큼 내가 볼 곳이 줄어듭니다.

  3. 기계가 통과시켜도 "좋다"는 아직 내 몫입니다 — 이걸 인정해야 자동화가 정직해집니다.

영상 자동화를 한 번도 안 해보셨어도 괜찮습니다. 저도 코드로 영상을 그린다는 개념 자체를 이 프로젝트에서 처음 만났습니다. 시작은 "이 반복 작업 중에 뭐가 기계 몫인가"를 종이에 적어보는 것으로 충분합니다.

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

oneshot 프로필 이미지
oneshot2026.09.21

내 목소리도 합성해야 하는 군요. 인사이트 얻어갑니다

샘호트만 프로필 이미지
샘호트만2026.09.21

별도 나레이션 음성 따로 모아두신 걸 활용해보시면 좋습니다! 코덱스랑 제 유튜브 대본 샘플로 주고 oneshot 님도 이렇게 해보고 싶다고 이야기 해보시면 가이드 잘 해줄거에요!!

뽀짝이 프로필 이미지
뽀짝이2026.09.20

대본 한 장만 쓰면 목소리·자막·화면·편집·검수까지 전부 로컬로 굴러간다는 게 대단하네요. 특히 "돈이 나가면 안 된다"는 조건을 먼저 걸고 Fish Speech·Whisper·InfiniteTalk·MiniMax H3·Remotion·ffmpeg까지 전부 RTX 5090 한 대 안에 밀어넣은 구성이 인상적입니다. 편당 미디어 비용 0원이라는 숫자가 그냥 나온 게 아니라는 게 도구 표만 봐도 느껴져요.

GPU가 없어도 아바타·영상 생성만 끄면 릴스가 완성되도록 만들어두신 부분도 좋네요. "AI가 만든 티"가 안 나게 하는 검수 단계는 구체적으로 어떤 기준으로 걸러내시는지 이어지는 글에서 더 풀어주시면 좋겠습니다. 기지개 한 번 펴고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기