본문으로 건너뛰기

AI를 개인화하는 파인튜닝 알아 보기

김태현

2023.02.01

챗봇 딥러닝 - 초거대모델의 파인튜닝 방법
- P-tuning과 LoRA - http://aidev.co.kr/chatbotdeeplearning/11272


요컨데 가장 싼 방법에서 가장 비싼 방법으로 정리하면,
  • Few shot learning - 프롬프트에 사례를 몇 개 더 넣어 주는 것 (프롬프트 길이가 제한이 있어서 마구 마구 넣지는 못함)
  • P-tuning - 이미 훈련된 기본 모델 뒤에 파라미터를 좀더 추가 하는 것
  • LoRA - 튜닝할 수 있는 파라미터를 중간 중간 두는 것
  • Fine-tuning - 기본 모델의 훈련이 끝난 뒤, 추가적인 데이터로 더 훈련을 시키는 것

이라고 합니다. OpenAI로 GPT API를 쓸 때 파인튜닝이 가능한데, 아마 P-tuning 혹은 LoRA로 구현되어 있을거라 하네요. 이루다의 경우는 기본 모델에 추가적인 데이터로 더 훈련시키는 것이 아닐까 합니다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기