Nvidia 새로운 인공지능 칩 공개, LLMs 운영 비용 ‘크게 줄어들 것’

https://www.cnbc.com/2023/08/08/nvidia-reveals-new-ai-chip-says-cost-of-running-large-language-models-will-drop-significantly-.html

• Nvidia는 화요일에 인공지능 모델을 실행하기 위한 새로운 칩 GH200을 발표했으며, 기존 최고급 AI 칩 H100과 동일한 GPU와 141GB의 첨단 메모리 및 72코어 ARM 중앙 프로세서를 결합한다.

• GH200은 내년 2분기에 사용 가능할 예정이며, 이 칩은 단일 시스템에서 더 큰 AI 모델을 수용할 수 있는 더 많은 메모리 용량을 가지고 설계되었으며, 더 큰 모델을 위해 두 개의 GH200 칩을 결합하는 시스템도 발표되었다.

• 이러한 발표는 Nvidia의 주요 GPU 경쟁사인 AMD가 최근 자체 AI 중심 칩을 발표한 가운데 이루어지며, 이 칩은 AI 추론을 위해 메모리 192GB를 지원할 수 있으며, Google과 Amazon과 같은 회사들도 자체 사용자 정의 AI 칩을 설계하고 있다.