안녕하세요.
제목과 마찮가지로 혹시 GPU가 아닌 CPU를 이용해서 Llama2를 설치해서 테스트 진행해 보신 분 계신가요?
아래 경로의 git에 해당 소스가 있으니 설치해 보시면 본인의 PC에서 테스트 진행 가능할 것 같습니다.
GitHub - allmnet/Llama-2-Open-Source-LLM-CPU-Inference: Running Llama 2 and other Open-Source LLMs on CPU Inference Locally for Document Q&A그리고 저희 팀에서 테스트용 서버장비에서 테스트해 보았는데, 생각보다 시간이 오래 걸리더군요.
감사합니다.