- 지난 달 메타 리서치가 발표한 LLaMA 모델의 가장 큰 약점은 명령어 튜닝이 부족하다는 것
- OpenAI의 ChatGPT의 위대한 점 중 하나는 명령 튜닝을 차용했다는 점 이며, 명령 튜닝 덕분에 모델과 상호 작용하는 방식에서 훨씬 더 인간적이 될 수 있게 되었음.
- 마찬가지로 Alpaca또한 LLaMA를 기반으로, 명령 튜닝을 학습시킴
- 7B LLaMA 모델을 미세 조정하는 데 8개의 80GB A100에서 3시간이 걸렸으며 대부분의 클라우드 컴퓨팅 공급자에서 100달러 미만으로 저렴함
- Alpaca는 학술 연구만을 목적으로 하며 어떠한 상업적 사용도 금지되어 있음을 강조
GPTers
Admin