소개
커머셜 레벨의 퀄리티있는 영상 컨텐츠 생성을 자동화 함으로써, 기획에 집중할 수 있는 업무환경 생성.
(*생각했던 퀄리티가 나오지 않아서, 원래 기획 의도인 일관된 캐릭터를 활용한 콘텐츠에서 쉽게 이해시킬 수 있는 자연 비주얼('자연-씨앗-발아+Avatar느낌')으로 기획 변경)
진행 방법
<툴>
n8n
ChatGPT : 이미지/비디오/사운드 프롬프트 생성
Fal.ai : 여러가지 이미지/비디오/음성 등 생성형 모델을 선택해 사용하는 플랫폼
Image generate : Schnell
Video generate : Kling.Standard
Sound generate : mmaudio-v2
Media Merge : FFmpeg
<워크플로우>
(수작업)
01. 콘텐츠 아이디어 기획 내용 구글시트에 정리
(여기서부터 자동화)
02. 구글시트 텍스트를 통해 ChatGPT가 입력된 지침에 따라 프롬프트 생성
03. 프롬프트 기반으로 이미지(Fal.ai_Schnell) 생성 후 추출 (텍스트보단 이미지 기반의 영상화가 퀄리티 높힘)
04. (반복작업) 이미지를 기반으로 영상(Fal.ai_Kling.Standard) 생성 후 추출
05. ChatGPT가 입력된 지침에 따라 프롬프트 생성
06. 프롬프트 기반으로 사운드(Fal.ai_mmaudio-v2) 생성 후 추출
07. 영상+사운드 두개의 생성된 파일/링크를 통해 영상(Fal.ai_FFmpeg) 작업 후 추출
08. 구글시트에 최종 영상 다운 링크 입력
최종 결과물
결과와 배운 점
<문제>
기획 : 메이져 커머셜급 퀄리티 작업의 자동화는 불가능했기에, 쉬운(Nature) 콘텐츠 스타일로 변경
> 단계별 퀄리티 체크가 필요하다. (자동화 이점 사라짐)
> 템빨로 극복. 비싼 모델들을 연결시키면 가능하겠지만 아직은 시도하기 무섭다.n8n : 어떤 기능이 있는지 몰랐기에 똑같은 작업을 여러번 돌려 돈이 더 들었다.
> 일시적인 대응 법이지만, 테스트할땐 오류가 생 겨도 그냥 다음단계로 넘어갈 수 있는 항목 선택
>> 노드의 Setting 에서 On Error : Continue(using error output) 선택> 노드를 Pin 설정해두면, 실수로 실행시켜도 전체 플로우가 돌아가지 않는다.
<발전 방향>
프롬프트 작업시 이미지와 영상 프롬프트 출력 지침을 한번에 작동하는 방식이 가능할까?
각 단계의 퀄리티를 점검하기 위한 체크포인트를 텔레그램(api 사용무료)과 같은 대화 공간에서 확인 후 다음 스텝으로 넘어가도록 발전 가능?
8개의 씬에 들어간 각기 다른 음악들의 앞뒤 음 씽크가 맞을 수 있게 생성 가능할까?
지정된 이미지를 레퍼런스를 활용해 현재 워크플로우로 생성이 가능한가?
최종 워크플로우를 기반한 MCP 개발이 가능한가?
<느낀점>
프롬프트(기획)가 제일 중요했다!!!!
프롬프트는 웬만하면 영어로 작업하는게 좋을듯합니다.
생각보다 비용이 저렴하지만, 영상생성 툴 비용은 꽤..
총 비용: 2.4$ (여러번 같은 작업 요청한 바보짓 포함)