(초보)GPU사용 관련
2024.04.10
안녕하세요 온라인에 있는 자료로 LLM에 대해서 공부해보고 있는 왕초보입니다.
선배님들께 질문하나만 드리겠습니다..
Langchain으로 허깅페이스 meta의 LLAMA나 ko leaderboard에 있는 모델들을 불러와서
추론은 잘되고 있는데요
문제는 GPU(CUDA)를 사용해도 CPU 로 추론하는 것보다 속도가 느립니다. 무슨 문제일까요?
아래 값이 -1일때 대비해서 0으로 되어 있을 때 확실히 CPU 이용률이 낮고 GPU메모리 사용량이 늘어나는게 보이는데요..
os.environ["CUDA_VISIBLE_DEVICES"]='0'
from langchain import LLMChain
아래 두 PC 환경에서 실험했을 때 추론 속도 차이가 아래와 같습니다. 어떤 부분을 살펴보면 좋을지 조언을 부탁드립니다.
1. Xeon(R) Gold 6226R CPU x 2ea / RTX 6000 24GB
CPU: 4.5~5.1s / GPU: 24s
2. Xeon(R) Gold 633Y CPU x 2ea / T400 4GB
CPU: 2.5-4s 대 / GPU: 25 ~ 27.5 s

저도 모르는 부분이라서, 클로드3에게 물어봤습니다. 아래 답변 참고해주세요~
Langchain을 사용하여 Hugging Face의 LLAMA나 Korean leaderboard의 모델을 불러와 추론하는 경우, GPU(CUDA)를 사용했을 때 CPU보다 속도가 느린 문제는 몇 가지 원인이 있을 수 있습니다.
모델 크기와 GPU 메모리: LLAMA와 같은 대형 언어 모델은 많은 메모리를 필요로 합니다. GPU 메모리가 부족하면 메모리 스와핑이 발생하여 속도 저하가 일어날 수 있습니다. 모델이 GPU 메모리에 완전히 로드되지 않고 CPU와 GPU 간에 데이터 전송이 발생하면 속도가 느려집니다.
CUDA 설정: CUDA_VISIBLE_DEVICES 환경 변수를 0으로 설정하면 특정 GPU를 사용하도록 지정할 수 있습니다. 이 설정이 올바르게 되어 있는지 확인해야 합니다. -1로 설정하면 GPU를 사용하지 않고 CPU만 사용하게 됩니다.
병목 현상: CPU와 GPU 간의 데이터 전송, 전처리, 후처리 등의 작업이 병목 현상을 일으킬 수 있습니다. 이로 인해 GPU 활용이 제한되고 전체 추론 속도가 느려질 수 있습니다.
드라이버와 라이브러리 버전: CUDA, cuDNN, PyTorch 등의 드라이버와 라이브러리 버전이 호환되는지 확인해야 합니다. 버전 불일치로 인해 성능 저하가 발생할 수 있습니다.
개선을 위해 다음 사항을 살펴볼 수 있습니다:
모델 크기와 GPU 메모리 확인: 모델이 GPU 메모리에 완전히 로드될 수 있는지 확인하세요. 필요한 경우 배치 크기를 조정하거나 모델을 분할하는 방법을 고려해 보세요.
프로파일링 도구 사용: Nvidia Visual Profiler나 PyTorch Profiler와 같은 도구를 사용하여 코드의 병목 지점을 식별하고 최적화할 수 있습니다.
다른 GPU 테스트: 가능하다면 다른 GPU에서도 테스트를 진행하여 문제가 특정 GPU에 국한된 것인지 확인해 보세요.
드라이버와 라이브러리 업데이트: 최신 버전의 CUDA, cuDNN, PyTorch 등을 사용하고 호환성을 확인하세요.
CPU와 GPU 코드 비교: CPU와 GPU 코드의 차이점을 분석하여 GPU 코드의 최적화 가능성을 확인해 보세요.
두 PC 환경에서의 추론 속도 차이를 보면, CPU의 성능이 더 좋은 것으로 보입니다. 이는 CPU와 GPU 간의 데이터 전송, 모델 크기와 GPU 메모리 제한, 최적화 이슈 등이 원인일 수 있습니다. 위에서 언급한 사항들을 점검하고 개선해 나가는 것이 도움이 될 것입니다.