개요📄
새롭게 출시된 Llama3에 대한 시험 사용 경험을 나누어보겠습니다! 최근 Meta에서는 8b와 70b 두 종류의 Llama3 모델을 선보였습니다. 특히 70b 모델은 고성능 그래픽 카드인 RTX4090을 사용해도 속도가 다소 느리다는 평가가 있어, 저는 8b 모델을 사용해보기로 했습니다.
Llama3의 성능을 논할 때, Summer님께서 제공한 리뷰(Summer님의 리뷰 보기)를 참고하였습니다. GPT 3.5보다는 Llama3 8b가, 그리고 GPT 4보다는 약간 뒤떨어지는 것으로 평가 받고 있습니다. 이러한 평가를 고려해볼 때, 비용적 부담이나 높은 컴퓨터 사양이 부담스럽지 않은 이들에게는 Llama3 8b가 충분히 가치 있는 선택일 수 있습니다.
목적🎯
Meta에서 최근 출시한 Llama3 모델의 실용성과 성능을 평가하기 위해, 특히 상대적으로 더 접근하기 쉬운 8b 모델을 선정하여 실험해보았습니다. 이 모델을 통해 유료 구독의 경제적 부담을 느끼는 사용자들에게 GPT 3.5보다 더 나은 성능을 제공하는 오픈소스 솔루션을 탐색하는 것도 중요한 목표입니다.
사용한 툴🛠️
Ollama: Llama3의 로컬 실행을 위한 필수 툴입니다.
Docker: 애플리케이션을 컨테이너화하여 실행할 수 있게 해주는 도구입니다.
Open WebUI: Docker를 통해 로컬에서 웹 기반 인터페이스를 제공하는 툴입니다.
시도 방법📝
Ollama 설치 (https://ollama.com/)
Llama3 모델을 로컬에서 사용하기 위해 먼저 설치합니다.
내 OS에 맞게 설치 하시면 됩니다.
ollama run llama3 를 입력하면 설치가 됩니다. (우리는 Llama3 버전을 설치합니다.)
Docker 설치 (https://www.docker.com/)
애플리케이션을 쉽게 배포하고 관리할 수 있게 도와주는 Docker를 설치합니다.
💡 도커 설치 후 컴퓨터 재부팅을 해주셔야 도커가 정상적으로 실행 가능합니다.
Open WebUI (https://github.com/open-webui/open-webui) 설치 및 설정
사용자 친화적인 인터페이스를 제공하기 위해 Open WebUI를 설치하고 Docker 컨테이너를 설정하여 실행합니다.
git 주소를 복사하고 적당한 곳에 git clone을 실행합니다.
사용 가이드에 나온대로 우리는 Ollama를 로컬에 설치하였으니 해당 명령어를 입력합니다.
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main아래와 같이 실행되면 정상적으로 실행되는 것입니다.
Docker Desktop 프로그램을 통해 local서버를 키고 끌 수 있습니다.
실행과 테스트✅
인터넷 브라우저에서 localhost:3000을 입력하면 아래와 같이 로그인 화면이 나옵니다
하단 Sign up을 클릭하시고 회원가입 진행하시면 이제 로컬에서 Llama를 비롯한 open LLM모델을 사용 하실 수 있습니다.
설치한 모든 컴포넌트를 연동하여 실행한 후, Llama3의 성능을 테스트하고 평가합니다.
한글 입력은 잘 이해하나, 한글로 대답은 하지 않습니다. (아직 출시 초기라 그런 듯 합니다.)프로그래밍 문제도 잘 해결하며, 프롬프트에서 요청한 코드조각(code snippet)도 잘 제공하는 것을 볼 수 있습니다.
결론/인사이트🌟
Llama3 8b 모델은 GPT 3.5보다 우수하며, 비교적 저렴한 비용으로 AI의 강력한 기능을 활용할 수 있는 가능성을 제시합니다. 이번 실험을 통해 Llama3가 고사양 그래픽 카드가 없는 환경에서도 효과적으로 사용될 수 있음을 확인했습니다. 사용자가 AI를 이용한 대화형 인터페이스를 경험할 수 있는 새로운 방법을 제공함으로써, AI 기술의 접근성과 활용도를 높일 수 있는 기회를 열었습니다.
긴글 읽어주셔서 감사합니다.🙏
#10기 AiATOZ