챗봇 딥러닝 - 초거대모델의 파인튜닝 방법 - P-tuning과 LoRA - http://aidev.co.kr/chatbotdeeplearning/11272 data-type="image" data-size="original" data-id="vU5s6BQDWk8zgjki81Gfu" data-version="v2" data-align="left">요컨데 가장 싼 방법에서 가장 비싼 방법으로 정리하면,Few shot learning - 프롬프트에 사례를 몇 개 더 넣어 주는 것 (프롬프트 길이가 제한이 있어서 마구 마구 넣지는 못함)P-tuning - 이미 훈련된 기본 모델 뒤에 파라미터를 좀더 추가 하는 것LoRA - 튜닝할 수 있는 파라미터를 중간 중간 두는 것Fine-tuning - 기본 모델의 훈련이 끝난 뒤, 추가 적인 데이터로 더 훈련을 시키는 것이라고 합니다. OpenAI로 GPT API를 쓸 때 파인튜닝이 가능한데, 아마 P-tuning 혹은 LoRA로 구현되어 있을거라 하네요. 이루다의 경우는 기본 모델에 추가적인 데이터로 더 훈련시키는 것이 아닐까 합니다.
