stable diffusion (comfyUi)
2023년 11월 21일 Stable Video Diffusion (SVD) 이 공개되었습니다.
1. stable diffusion (comfyUi) vs Gen2
지금까지 가장 주목 받는 AI video 생성툴은 Gen2 였습니다.
그래서 비교를 위해 같은 이미지를 넣고 생성을 했습니다.
stable diffusion (comfyUi)
Gen2
stable diffusion (comfyUi)
Gen2
stable diffusion (comfyUi)
Gen2
stable diffusion (comfyUi)
Gen2
비디오를 생성하는데 두가지 툴 모두 훌륭한 것 같습니다.
특히, Gen2 의 브러시 툴은 직관적이고 강력해서 좋습니다.
2. 비용
1) gen2
월 12달러이고 125초를 제공해줍니다.
보통 4초 짜리 영상을 만들기 때문에 월 약 31개의 비디오를 만들 수 있습니다.
물론 한 번에 마음에 드는 영상을 뽑기는 쉽지 않습니다.
30초 길이의 쵸츠 영상을 만든다면 7~8개의 영상을 사용하는데,
마음에 드는 영상을 한 번에 생성할 수 있다고 하더라도, 쇼츠 4편 정도 제작할 수 있습니다.
2) Stable diffusion (ComfyUI)
무료 입니다.
단, PC 의 그래픽카드 성능이 중요하기 때문에 하드웨어 비용이 많이 들어갑니다.
사실 일반 사람들은 Stable Video diffusion 을 바로 사용하지는 못합니다.
A100 GPU로 1024×576 25프레임 4초 짜리 영상 1분 정도걸린다고 하는데,
그래픽카드 A100 40GB 가 약 1,500만원 80GB 는 3,000만원 정도 하는 것 같습니다.
하지만 감사하게도 2023년 11월 24일 SVD 오픈 3일만에 ComfyUI 업데이트로
GTX 1080 10만원대 그래픽카드로 생성이 가능하다고 발표했습니다.
하지만, 최저사양이기 때문에 쾌적하게 돌아가지는 않을 것 같습니다.
ComfyUI 의 설치와 사용방법에 대한 공식 가이드 페이지 입니다.
설치가 스테이블 디퓨전보다 훨씬 간단하고 사용방법도 쉽기 때문에 위의 포스트를 보시면 쉽게 세팅할 수 있습니다.
3. 압도적인 퍼포먼스
사실 그래픽카드가 워낙 비싸기 때문에 차라리 사용방법이 더 쉬운 Gen2 를 월 3~40불 정도 지불하고 사용하는 것이 더 나은 방법이라고 생각했습니다.
이 영상을 직접 만들기 전까지는 말입니다.
위의 jason 파일을 다운 받고, comfyUI 화면에 드래그하면 세팅이 끝납니다.
그리고 다운받고, 설치하라는 파일들을 설치하면 실행 됩니다.
물론 생성시간은 상당히 오래 걸렸습니다. (정확하지는 않지만 10분 정도 걸린 것 같습니다)
Max frames 300입니다. 약 12초 길이의 영상입니다.
그리고 놀랍게도 Batch prompt schedule 에 25프레임 마다 이미지 생성 프롬프트가 작성되어 있습니다.
즉, 1초에 한 번씩 이미지 생성이 되는데 그 사이에 25장의 이미지를 자동으로 생성해서 비디오로 만들어 줬습니다.
물론, Gen2 가 이를 갈고 덤비면 2024년에 비슷한 기능을 업데이트 할 것으로 예상됩니다.
하지만, 현재는 스테이블 디퓨전으로만 저 기능을 사용할 수 있는 것으로 보입니다.
문제는 그래픽 카드인데 해결방법은 스테이블 디퓨전을 구독하는 것입니다.
rundiffusion 입니다.
Automatic1111 WebUI, ComfyUI 등 많은 프로그램을 사용할 수 있습니다.
Pricing | Cloud AI Meets Unbeatable Value가격은 월 35.99달러.
4. 결론
1) 4초 영상에서는 Gen2 와 ComfyUI 의 결과가 비슷하다.
2) 월 100회 정도 생성한다면 두 모델 비용은 비슷하다.
gen2 3~40 달러는 소요될 것 같다.
Rundiffusion 월 구독료는 35.99달러
3) 직관적인 툴로 편하게 쓰고 싶다면 Gen2, 공부 하면서 더 많이 표현해보고 싶다면 Rundiffusion