🦙 라마(LLaMa)의 역사

1장. 라마(LLaMa)란 무엇인가

"Meta AI released a new open-source language model called LLaMA."

2장. 라마의 특징 

• 175 billion (GPT3) → 65 billion (LLaMa)

  

" 더 작고 강력한 모델로, 경쟁 모델과 비슷한 수준의 성능을 내면서도 컴퓨팅 성능을 더 적게 소비해 환경에 미치는 영향도 더 작다 "

• LLaMA: open source

오픈소스 커뮤니티 깃허브에 라마 소스코드를 업데이트
(학습 패러미터 - '공식적으로는' 승인 시 연구목적으로 제공)

라마는 후발주자, 대부분 오픈형으로.

3장. 라마의 역사는 3주

• 2023.02.24

LLaMA is easy to run on your own hardware, large enough to be useful, and open-source enough to be tinkered with,

• 2023.03.10

Georgi Gerganov's Home Page (ggerganov.com)
Georgi Gerganov(조지 게르가노프)라는 개발자가 M1 칩을 구비한 맥킨토시 노트북에서 이 모델을 실행할 수 있는 코드(llama.cpp)를 만들어 공개 

• 2023.03.11

• 2023.03.13

4장. 생각해볼 것

1.  언어모델을 개인장비에서 구동할 수 있다?

   

   구동가능 범위: 슈퍼 컴퓨터 → 맥 → 50만원 그래픽카드 (7B)
   
   1) 파인 튜닝이 가능하고
   2) 파인 튜닝이 저렴하고
   3) 모델 자체가 가볍다는 부분