본문으로 건너뛰기

스탠포드 대학교에 한 팀에서 LLaMA를 미세 조정한 alphaca를 내놓았습니다.

GPTers

2023.03.14

https://crfm.stanford.edu/2023/03/13/alpaca.html

  • 지난 달 메타 리서치가 발표한 LLaMA 모델의 가장 큰 약점은 명령어 튜닝이 부족하다는 것
  • OpenAI의 ChatGPT의 위대한 점 중 하나는 명령 튜닝을 차용했다는 점 이며, 명령 튜닝 덕분에 모델과 상호 작용하는 방식에서 훨씬 더 인간적이 될 수 있게 되었음.
  • 마찬가지로 Alpaca또한 LLaMA를 기반으로, 명령 튜닝을 학습시킴
    • 7B LLaMA 모델을 미세 조정하는 데 8개의 80GB A100에서 3시간이 걸렸으며 대부분의 클라우드 컴퓨팅 공급자에서 100달러 미만으로 저렴함
  • Alpaca는 학술 연구만을 목적으로 하며 어떠한 상업적 사용도 금지되어 있음을 강조

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

함께 읽어보세요

AI 소식 전체 보기