스터빌리티 AI, 챗GPT 3.5 능가하는 '프리윌리' 공개
스터빌리티 AI는 GPT-3.5를 능가하는 성능을 보이는 대규모 언어 모델 '프리윌리1·2'를 공개했다. 프리윌리1은 메타의 라마-65B를 기반으로 한 합성 데이터셋을 사용, 프리윌리2는 라마2 70B를 통해 개발됐다.
프리윌리2는 헬라스웩 테스트에서 GPT-3.5 기반 챗GPT를 능가하는 86.4%의 성능을 보였으며, MMLU 테스트에서는 68.8%의 성능을 달성했다.
프리윌리2는 미국의 SAT 시험 항목에서 GPT-3.5와 동등하거나 더 높은 성능을 보였으며, 스터빌리티 AI는 안전성 강화를 위해 외부로부터의 피드백을 적극 수용하고 있다.