본문으로 건너뛰기
궁금해요

stable diffusion같은 이미지생성 네트웍 기술중에 LoRA 라는 것이 무엇인가요?

GilddongGo

2023.05.16

stable diffusion같은 인공지능 기반 이미지생성 네트웍 
기술중에 LoRA 라는게 자주 등장하는데
그것이 무엇인가요? 

신윤복 로라, 한복 로라, 일본 로라??? 

궁금합니다.

7

함께 이야기해요 7

로그인하고 댓글을 남겨 주세요

GilddongGo 프로필 이미지
GilddongGo2023.05.16
혹시 전이학습 기술중 하나인가요??
숭
숭어2023.05.16
특정 이미지 학습이라고 보시면 됩니다 프롬프트내에 지정된 워딩이 왔을때 로라를 발동시켜서 그 워딩에 대한 이미지를 그려내는겁니다.
예를 들어 손 로라를 쓰면 이미지그리는중에 손에 대한걸 학습된 로라를 이용해서 그리는거죠
그래서 손만 고퀄리티로...
김욱영 프로필 이미지
김욱영2023.05.16
Low Rank Adaptation 이라고 알고 있고, 언어모델 미세조정이라고 생각하면 편할 것 같습니다. 숭어님께서 말씀하신 것 처럼, 손을 미세조정하는 예시를 들 수 있겠어요
GilddongGo 프로필 이미지
GilddongGo2023.05.16
 그럼 일종의 전이학습 같이 느껴집니다만...
LORA는 무슨약자 인가요?
GilddongGo 프로필 이미지
GilddongGo2023.05.16
 감사합니다.

뭔가 신개념 퓨샷러닝 알고리즘 인거 같네요..

Low-Rank 로 피쳐들을 압축한다라 ~~
유휘재 프로필 이미지
유휘재2023.05.19
이쪽이 참고가 되실 지 모르겠습니다. 원래 LLM용으로 나온 기술인데 최근에는 이미지 생성에 사용되고 있습니다. 기존에 하이퍼네트워크나 임베딩에 비해 경량화 되어 있고 특히 이미지 생성의 경우 언어모델보다 확실하게 결과가 보이기 때문에 최근에 많이 사용되고 있습니다. 전이 모델인지는 관련 자료를 본적은 없어서 알기는 어렵습니다만, 파인튜닝중 Adaptation 기법으로 MS에서 2021년 나온 기술로 알고 있습니다. 
Stable Diffusion에서 LoRA사용법을 설명 해 드리면 
큰 모델은 일반적으로 학습 데이터를 구하기도 어렵고 학습 시키기도 어려웠습니다. 그래서 기존 모델에 원하는 결과를 얻기 위한 목적으로 사용하는 것이 LoRA입니다.
위에 질문해 주신 예시를 보시면 크게 두가지로 사용됩니다. 그림체나 특정 부위를 학습시켜서 기존 모델에 추가할 수 있습니다.  
일반적으로 프롬프트에 <girl>을 넣으면 모델이 학습한 대로 일반 복장의 여성이 등장하게 됩니다. 
그런데 한복을 입은 여성을 생성하려고 합니다. 그러면 한복 이미지를 구해서 기존 모델에 추가하고 싶을 때 LoRA를 사용 하게 됩니다. 그렇다고 모델 병합은 아닙니다. LoRA는 별도로 파일로 존재하게 되고 약 100Mb 정도의 사이즈를 가집니다. 이 파일을 Stable Diffusion에 추가할 수 있습니다. 그리고 나서 프롬프트에 <girl>, <LoRa:hanbok> 같은 프롬프트를 추가하면 기존 모델에서는 표현할 수 없었던 한복을 입은 모습을 표현 할 수 있게 됩니다. 


GilddongGo 프로필 이미지
GilddongGo2023.05.19
 
자세한 설명
너무 감사드립니다~
큰 도움이 되엇습니다!! 

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기