[논문] 독점 언어모델을 제한한다는 잘못된 약속

ChatGPT와 같은 독점 시스템과 같은 강력한 모델의 출력에 따라 약한 언어 모델을 미세 조정하여 개선하는 접근 방식을 비판적으로 분석합니다.
저자들은 모방 모델이 처음에는 잘 작동하는 것처럼 보이지만, 모방 데이터에서 크게 지원되지 않는 작업에서 기본 언어 모델과 ChatGPT의 격차를 좁히지 못한다는 사실을 발견했습니다.
이들은 개방형 언어 모델과 폐쇄형 언어 모델 간에는 현재의 방법으로는 메울 수 없는 상당한 기능 격차가 존재하기 때문에 모델 모방은 잘못된 약속이라고 결론지었습니다. 대신 더 나은 기본 언어 모델을 개발하는 데 초점을 맞춰야 한다고 제안합니다.