StyleDrop: 모든 스타일의 텍스트를 이미지로 생성 – Google 연구 블로그
스타일드롭은 스타일 참조 이미지를 사용하여 사용자가 원하는 스타일로 이미지를 생성하는 새로운 텍스트-이미지 합성 모델입니다. 이는 텍스트 프롬프트만으로 스타일을 정의하는 기존 방식의 한계를 극복합니다.
이 모델은 뮤즈(Muse)라는 최신 텍스트-이미지 생성 모델을 기반으로 하며, 스타일 참조 이미지를 통해 모델을 미세 조정하는 어댑터 튜닝 방식을 사용합니다. 이는 기존 모델에 소수의 파라미터만 추가하여 효율적으로 학습시킬 수 있습니다.
스타일드롭은 단일 스타일 참조 이미지로부터 시작하여, 사용자 또는 이미지-텍스트 정렬 모델이 선택한 다양한 합성 이미지에 대해 반복 학습을 통해 스타일과 내용을 분리하고, 텍스트에 더 잘 맞는 이미지 생성을 달성합니다. 이는 텍스트의 일관성과 스타일의 다양성을 모두 유지하면서 이미지를 생성하는 데 중요합니다.