소개
https://www.gpters.org/nocode/post/n8n-short-foam-video-ePErUXC2oFzmdQu
지난주에 만들었던 워크플로우와 콘텐츠 기획 단계 업데이트 버전
- LLM Chain 사용
- 이미지/영상 프롬프트 노드를 두단계에서 한단계로
- 나레이션 추가
- (지난주) 추상적인 콘텐츠에서 패션쇼 예고편 콘텐츠로.
- 콘텐츠 원본 영상 : Gucci Twinsburg
; 좋은 작업물을 공유하고 싶은 마음과, 기획이 중요하다라는 부분의 좋은 예시이기에
이 영상의 예고편 콘텐츠를 만드는 기획을 해봤습니다.
https://www.youtube.com/live/XhROrqqJpuI?si=PAkjt8oCBHlU0Izx
진행 방법
<툴>
n8n
ChatGPT : 이미지/비디오/사운드 프롬프트 생성
Fal.ai : 여러가지 이미지/비디오/음성 등 생성형 모델을 선택해 사용하는 플랫폼
Image generate : recraft-v3
Video generate : Kling.v1.6.Standard
Sound generate : mmaudio-v2
Media Merge : FFmpeg
<워크플로우>
(수작업)
01. 콘텐츠 아이디어 기획 내용 구글시트에 정리
(여기서부터 자동화)
02. 구글시트 텍스트를 통해 ChatGPT가 입력된 지침(이미지/영상 통합)에 따라 프롬프트 생성
03. 프롬프트 기반으로 이미지(Fal.ai_recraft-v3) 생성 후 추출
(텍스트보단 이미지 기반의 영상화가 퀄리티 높기에 이미지 작업 먼저)
04. 생성된 이미지와 프롬프트를 기반으로 영상(Fal.ai_Kling.v1.6.Standard) 생성 후 추출
05. ChatGPT가 입력된 지침에 따라 프롬프트 생성
06. 사운드 프롬프트 기반으로 사운드(Fal.ai_mmaudio-v2) 생성 후 추출
07. 영상+사운드 두개의 생성된 파일/링크를 통해 영상(Fal.ai_FFmpeg) 작업 후 추출
최종 결과물
(나레이션은 n8n에서 최종결과물에 합쳐지지 않아서, 어도비 프리미어로 한번더 가공함)
결과와 배운 점
<문제>
기획 :
> 상상한 이미지와 완전히 동레벨의 퀄리티가 나올 수 없다.
기획 의도에서 벗어난 이미지를 컨트롤 하기 위해선,
단계별(프롬프트, 이미지, 영상, 사운드) 퀄리티 체크가 필요하다.n8n
> ChatGPT 로 음성을 생성했는데, 최종 Merge 작업에서 합쳐지지 않았다.
(링크로 Get을 하지 않아서 그런듯)
> 최종 영상을 만들 때, 아래 사진과 같이 키프레임에 대한 길이를 정해주는데, 3초씩 설정했지만
결과물을 씬당 5초로 나왔다. 문제 원인은 7개의 사운드들이 5초짜리로 생성되서 그런걸로 예상.
<발전 방향>
각 단계의 퀄리티를 점검하기 위한 체크포인트를 텔레그램(api 사용무료)과 같은 대화 공간에서 확인 후 다음 스텝으로 넘어가도록 발전 가능?
<느낀점>
역시, 프롬프트(기획)가 제일 중요했다!!!!
프롬프트는 영어로!
총 비용: 1.7$
