스탠포드 알파카
스탠퍼드대 연구진은 'LLaMA 7B'를 미세조정한 버전인 ' 알파카 ' 라는 모델을 개발. 놀랍게도 이 모델의 교육 및 추론 비용은 단 600달러로, 일반적으로 이러한 모델을 교육하는 데 필요한 수백만 달러에 비해 크게 줄어듬
Vicuna-13B
' Vicuna-13B ' 라는 이름의 GPT-4에 대한 새로운 오픈 소스 대안을 도입했습니다 . 이 모델은 ChatGPT 품질의 90%를 달성하는 인상적인 결과를 자랑하며 교육 비용은 $300에 불과
KOALA
최상의 데이터 세트를 얻기 위해 Koala 제작자는 웹을 스크랩하는 동안 수량보다 품질을 우선시
ShareGPT에서 공개적으로 공유된 총 60,000개의 대화가 모델 훈련을 위해 API를 통해 수집하여 모델 개발
Guanaco
' Guanaco '는 7개 언어로 다양한 언어 및 문법 작업을 다루는 추가 534,530개의 항목이 있는 Meta의 LLaMA 7B 모델에서 훈련된 명령을 따르는 언어 모델
개발자들은 모델이 이 데이터로 최적화되고 재훈련된 후 다국어 환경에서 큰 가능성을 보여준다고 말함
DALAI
언어 모델링은 로컬 컴퓨터에서 LLaMa를 실행하는 사용자 친화적인 방법인 ' Dalai '
이 도구는 최소 4GB의 RAM에서 실행할 수 있으며 인터넷 연결이 필요하지 않아 사용자가 언어 모델을 완벽하게 제어할 수 있음
Simple WebUI
초보자가 표준 NVIDIA GPU에서 PEFT 라이브러리 와 함께 LoRA 방법을 사용하여 LLaMA-7B 언어 모델을 미세 조정할 수 있도록 'Simple LLaMA Finetuner'라는 도구가 도입
이 도구는 직관적인 인터페이스로 설계되었으며 작은 데이터 세트와 256개의 샘플 길이가 있는 일반 Colab Tesla T4 인스턴스에서 실행할 수 있음