GPT-4는 가장 기대되었던 AI 모델이었지만, 모델의 크기, 데이터, 내부 구조, 학습 및 구축 방법에 대한 자세한 정보는 공개되지 않았습니다.
최근의 소문에 따르면, GPT-4는 기술적이고 과학적으로 볼 때 큰 혁신이 아닌 것으로 보입니다.
2023년 6월 20일, Comma.ai의 창립자인 George Hotz는 GPT-4가 단일의 거대한 모델이 아니라, 8개의 2200억 파라미 터 모델의 조합이라고 밝혔습니다.
이 모델은 모델들의 혼합인 '전문가 모델' 패러다임을 사용하며, 이것은 OpenAI가 새로이 개발한 것이 아닙니다.
GPT-4의 비밀에 대한 OpenAI의 처리 방식은 대중의 기대를 유지하면서도 모델의 덜 만족스러운 측면을 숨기는데 탁월했습니다.
OpenAI는 GPT-4가 대중이 기대하는 것만큼 혁신적인 돌파구가 아니라는 것을 직접적으로 인정하지 않았습니다.
이런 상황에서 대중은 OpenAI의 비밀스러움을 다음과 같이 해석하였습니다: "GPT-4의 성능이 최고 수준이므로 그 구조는 과학적 업적이어야 한다."
OpenAI는 기술적 독창성을 강조하면서도 GPT-4가 결국 하나의 모델이 아니라 여덟 개의 모델을 결합한 것이라는 사실을 숨겼습니다.
OpenAI가 GPT-4를 숨김으로써 세 가지 주요 목표를 달성했습니다: 대중의 상상력을 자극하고, 경쟁자들이 자신들의 기술을 복사하는 것을 방지하며, GPT-4가 큰 AI 혁신이 아님을 숨김으로써 외부인들이 AI 발전의 빠른 속도에 대한 믿음을 잃지 않게 하였습니다.
OpenAI와 전반적인 산업이 아이디어를 다 쓴 것인지, AI가 기업, 미디어, 마케터, arXiv가 주장하는 만큼 빠르게 발전하고 있는지, GPT-4가 GPT-3로부터 큰 도약이 되었는지에 대한 의문이 제기되었습니다.