애플기기에서 Stable-diffusion을 빠르게 사용할 수 있는 최적화 신기술 적용

WWDC'23에서는 Apple 기기에서 머신러닝 모델을 실행하기 위한 압축 및 최적화 기술을 포함하는 새로운 핵심 ML 최적화를 소개했습니다.

• 최신 버전의 Core ML 및 coremltools는 적용하기 쉽고 품질에 미치는 영향을 최소화하는 6비트 palettization과 같은 기술을 지원합니다. 유니티는 6비트 palettization 모델을 허브에 추가했으며, 이 모델은 iOS와 macOS 모두에서 실행할 수 있을 정도로 크기가 작습니다.

• 또, quantization 방법을 사용하면 안정적 확산 모델의 크기를 줄이고, 디바이스에서 더 빠르게 실행하며, 리소스를 덜 소비할 수 있습니다.

• ml-stable-diffusion 오픈 소스 저장소가 업데이트되어 정량화 및 추가 최적화를 지원하며, 공식 Stable Diffusion 모델은 코어 ML 형식과 zip 아카이브로 제공되어 Xcode 프로젝트에 쉽게 통합할 수 있습니다.

https://huggingface.co/blog/fast-diffusers-coreml