Google’s Lumiere brings AI video closer to real than unreal - The Verge
구글의 새로운 AI 비디오 생성 모델 '루미에르'는 공간과 시간을 동시에 분석하는 새로운 확산 모델 '스페이스-타임-유넷(STUNet)'을 사용하여 비디오 내 객체의 움직임을 자연스럽게 표현한다.
루미에르는 사용자의 프롬프트로부터 기본 프레임을 생성하고, STUNet 프레임워크를 이용하여 연속적인 프레임을 생성함으로써 원활한 움직임의 비디오를 만들어낸다. 이는 기존의 AI 비디오 생성 기술보다 현실적인 결과물을 제공한다.
루미에르는 텍스트에서 비디오로의 변환뿐만 아니라 이미지에서 비디오로의 변환, 특정 스타일의 비디오 생성, 일부만 애니메이션하는 시네마그래프, 비디오 내 특정 부분의 색상이나 패턴을 변경하는 인페인팅 기능도 제공한다. 하지만, 이 기술의 오용 가능성에 대한 우려도 제기되고 있다.