본문으로 건너뛰기
궁금해요

CPU를 사용해서 Llama2 설치해 보셨나요?

박인성

2024.01.26

CPU를 사용해서 Llama2 설치해 보셨나요? 본문 이미지

안녕하세요.

제목과 마찮가지로 혹시 GPU가 아닌 CPU를 이용해서 Llama2를 설치해서 테스트 진행해 보신 분 계신가요?

아래 경로의 git에 해당 소스가 있으니 설치해 보시면 본인의 PC에서 테스트 진행 가능할 것 같습니다.

GitHub - allmnet/Llama-2-Open-Source-LLM-CPU-Inference: Running Llama 2 and other Open-Source LLMs on CPU Inference Locally for Document Q&A

그리고 저희 팀에서 테스트용 서버장비에서 테스트해 보았는데, 생각보다 시간이 오래 걸리더군요.


감사합니다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기