소개
가상 인플루언서 '윤지'의 환복(의상 변경) 퀄리티를 높이기 위해 ComfyUI를 활용해보았습니다. 단순히 이미지 생성뿐만 아니라 생성된 이미지를 활용하여 자연스러운 움직임이 있는 영상으로 제작하는 과정까지 시도했습니다. 고품질의 가상인플루언서 콘텐츠를 만들기 위해 다양한 도구와 워크플로우를 테스트하며 최적의 방법을 찾고자 했습니다.
진행 방법
ComfyUI와 Nordy 플랫폼
ComfyUI 기본 템플릿 대신 Nordy 사 이트에서 환복에 적합한 워크플로우 검색
워크플로우 테스트 후 다운로드하여 로컬 ComfyUI에 적용
필요한 모델은 Perplexity를 통해 검색하여 다운로드 및 설치
워크플로우 활용 방식
기존에 생성한 '윤지' 캐릭터 이미지에 환복 적용
캐릭터 입력 시 배경과 옷을 자동 생성해주는 템플릿도 활용
영상 생성 시도
WAN: 웹 기반으로 이미지를 업로드하여 5초 영상 생성 (1시간 이상 소요)
클링: 이미지로 영상 생성 비교 테스트
ComfyUI에서 직접 WAN 기능 활용 시도
Premiere Pro AI 영상 생성 시도
하드웨어 최적화 시도
윈도우 데스크탑: python main.py --highvram --precision full --cuda-fp16 --lowvram
저사양 vram 최적화, 정확도 높임, vram 사용량 감소
애플실리콘 맥북: PYTORCH_ENABLE_MPS_FALLBACK=1 python main.py --mps
gpu에서 불가능한 연산은 자동으로 cpu로 전환
결과와 배운 점
성공적인 부분
ComfyUI + Nordy 조합으로 고품질 환복 이미지 생성 성공
다양한 워크플로우 테스트를 통해 최적의 결과물 도출
시행착오 및 문제점
하드웨어 제약
데스크탑 그래픽카드 VRAM 한계로 영상 생성 시 품질 저하
맥북(애플실리콘)에서는 메모리스왑으로 100GB까지 사용 가능하나 CUDA 최적화 모델이 제대로 작동하지 않음
CPU 모드 실행 시 속도가 현저히 느림
영상 연결 시 문제
5초 영상의 마지막 프레임으로 새 영상 생성 시 클링에서는 비율 불일치 발생
WAN은 비율은 유지되나 영상마다 색감과 대비가 달라지는 문제 발생
해결 방법
워크플로우 오류 발생 시: 오류 화면 스크린샷을 LLM에 전송하여 해결책 도출
긴 영상 생성: 5초 영상의 마지막 프레임을 활용해 연 속 영상 생성 후 연결
앞으로의 계획
영상 생성 시 색감과 대비 일관성 유지 방법 연구
저사양에 최적화된 워크플로우와 모델 탐색
하드웨어 업그레이드 고려 (현재로서는 고사양 데스크탑 필요성 느낌)