생성 AI의 엔비디아 GPU 탈출은 가능할까

생성 AI 기반 서비스는 크게 두 부분인 '학습' 인프라와 '추론' 인프라로 나누어지며, 이에는 고가의 엔비디아 GPU가 필수적으로 사용된다. 그로 인해 막대한 비용이 발생하며, 공급도 부족한 상황이다.

대규모 언어 모델(GPT-4 등)을 학습하고 추론하는데는 수만 개의 GPU가 필요하며, GPU 구매 외에도 전력, 냉각, 인력 고용 등의 추가 비용이 들어간다. 이러한 상황은 오픈AI와 같은 기업에 막대한 영업손실을 가져올 수 있다.

GPU의 공급 부족 문제는 당장 해결될 기미가 없으며, TSMC와 같은 제조사의 생산 능력에 따라 공급량이 결정된다. 현재 수요를 충족할 수 있는 생산량을 확보하는 것은 미지수이다.