OpenAI가 ChatGPT가 '게으르다'고 인정한 지 불과 일주일 만에 X 사용자 Rob Lynch의 새로운 연구 에 따르면 GPT-4는 5월이라고 생각할 때보다 12월이라고 생각할 때 완료 시간이 더 짧은 것으로 나타났습니다. 결과는 통계적으로 유의미한 것으로 보입니다.
이 소식은 Wharton 교수 Ethan Mollick이 연구를 다시 게시 하고 잠재적인 설명으로 AI 겨울방학 가설을 인용한 이후 처음으로 우리의 관심을 끌었습니다. 이 이론은 AI가 휴일 동안 작업을 덜 수행하도록 "학습"했기 때문에 12월에 AI의 성능이 더 나빠질 수 있음을 시사합니다.
Lynch는 두 개의 시스템 프롬프트를 생성하여 연구를 수행했습니다. 하나는 API에 5월임을 알리고 다른 하나는 12월임을 알려주었습니다. 그런 다음 그는 분포를 비교했습니다. 또 다른 X 사용자 테베스는 결과를 재현할 수 있었다고 주장했습니다 .
OpenAI는 최근 성능 저하가 연중 시기로 인한 것인지 여부를 확인하지 않았지만 회사는 이를 고치는 방법을 모색하고 있다고 밝혔습니다.