https://archive.is/XwWTi (전문 아카이브)
현대 AI 시스템은 거대한 인공 신경망에 의해 구동되며, 이는 GPT-4와 같은 대형 언어 모델이 빠르게 성장하고 있음을 의미합니다. 그러나 이런 거대한 모델의 훈련 비용은 빠르게 증가하고 있으며, 2026년까지 수십억 달러에 이를 것으로 예상됩니다.
이러한 비용 증가와 함께, 훈련에 사용할 수 있는 고품질 텍스트의 재고가 고갈될 가능성이 있습니다. 또한, 훈련이 완료된 후에도 모델을 사용하는 데 드는 비용이 많아질 수 있습니다. 따라서, AI 모델이 계속 발전하려면, 창조자들은 더 적은 자원으로 더 많은 성능을 얻어내는 방법을 찾아야 합니다.
연구자들은 이제 모델을 단순히 더 크게 만드는 것이 아니라, 더 효율적으로 만드는 데 주목하고 있습니다. 이를 위해, 파라미터의 수를 줄이고 더 많은 데이터로 모델을 훈련하는 등의 방법이 사용되고 있습니다. 또한, 모델의 수학을 더 흐릿하게 만들어 하드웨어 요구 사항을 크게 줄이는 방법도 있습니다.