AI를 개인화하는 파인튜닝 알아 보기
김태현
2023.02.01
챗봇 딥러닝 - 초거대모델의 파인튜닝 방법
- P-tuning과 LoRA - http://aidev.co.kr/chatbotdeeplearning/11272
요컨데 가장 싼 방법에서 가장 비싼 방법으로 정리하면,
- P-tuning과 LoRA - http://aidev.co.kr/chatbotdeeplearning/11272
요컨데 가장 싼 방법에서 가장 비싼 방법으로 정리하면,
- Few shot learning - 프롬프트에 사례를 몇 개 더 넣어 주는 것 (프롬프트 길이가 제한이 있어서 마구 마구 넣지는 못함)
- P-tuning - 이미 훈련된 기본 모델 뒤에 파라미터를 좀더 추가 하는 것
- LoRA - 튜닝할 수 있는 파라미터를 중간 중간 두는 것
- Fine-tuning - 기본 모델의 훈련이 끝난 뒤, 추가적인 데이터로 더 훈련을 시키는 것
이라고 합니다. OpenAI로 GPT API를 쓸 때 파인튜닝이 가능한데, 아마 P-tuning 혹은 LoRA로 구현되어 있을거라 하네요. 이루다의 경우는 기본 모델에 추가적인 데이터로 더 훈련시키는 것이 아닐까 합니다.



