Groq API를 활용한 Llama3.1 활용 방법 (작성중)

Groq API를 통해 무료로 Llama3.1-8B and Llama3.1-70B and Llama3.1-401B 모델을 사용하여 Basic RAG를 진행해보도록 하겠습니다.

GROQ?

컴퓨터 사양이 부족하여 Local LLM을 실행하지 못하는 사용자는 GroqCloud의 Llama3.1 모델을 대안으로 사용할 수 있습니다.

2024 07 31 기준 GORQ API 무료 가능 사용량

ALT

검은 화면에 항목 목록의 스크린샷

GROQ API 빨리 시작하기

링크

위 링크에 접속하면 빠르게 GROQ API를 사용해 볼 수 있습니다.

GROQ API는 회원 가입 후 (구글 회원가입 권장)

API KEY 발급 사이트

위 사이트에서 발급 받을 수 있습니다.

ALT

Python의 스크린샷 - Python - Python - Python

발급 받았을 때 key를 꼭 기억하시구요!

Llama index 3.1 버전의 Cookbook이 존재하지 않아서, 재빠르게 제가 업데이트 하여 만들어 봤습니다.

코랩링크