본문으로 건너뛰기

FineTuning이 아닌 OffsiteTuning기법을 다룬 논문

무말랭이

2023.02.12

https://arxiv.org/pdf/2302.04870.pdf

꽤 신기한 학습 방법이 공개되서 올려봅니다.
파인튜닝 자체보단 과정에 대한 내용입니다.

(a) 데이터셋을 모델 소유자에게 보내준 뒤 소유자가 직접 파인튜닝하는 현재 과정 (OpenAI 등)
문제 1. 데이터셋이 유출될 수 있음
(b) 모델 파일을 데이터셋 소유자에게 보내준 뒤 데이터셋 소유자가 직접 파인튜닝하는 과정 (스테이블 디퓨전 등)
문제 1. 높은 용량의 사전 학습 파일을 통으로 보내주는건 매우 비효율적임
문제 2. 모델 파일이 유출될 수 있음
(c) 에뮬레이터와 어댑터만 보내줌으로써 데이터셋 소유자가 직접 파인튜닝하는 Offsite-Tuning

https://arxiv.org/pdf/2302.04870.pdf
https://github.com/mit-han-lab/offsite-tuning


함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기