토큰 128000 으로 증가
비전 API 공개
2023년 4월기준까지 정보 최신화
성능 향상 + 가격 하락
오늘 OpenAI는 첫 번째 개발자 컨퍼런스에서 자사의 대표 텍스트 생성 AI 모델인 GPT-4의 개선 버전인 GPT-4 Turbo를 공개했는데, 이 제품은 "더 강력"하면서도 가격은 더 저렴합니다.
GPT-4 Turbo는 텍스트만 분석하는 버전과 텍스트와 이미지의 문맥을 모두 이해하는 두 가지 버전으로 제공됩니다. 텍스트 분석 모델은 오늘부터 API를 통해 미리 사용할 수 있으며, OpenAI는 "앞으로 몇 주 안에" 두 가지 모델을 모두 일반에 공개할 계획이라고 밝혔습니다.
가격은 입력 토큰 1,000개(약 750단어) 당 0.01달러(여기서 "토큰"은 원시 텍 스트의 비트(예: "환상적"이라는 단어가 "팬", "타스", "틱"으로 나뉨)와 출력 토큰 1,000개 당 0.03달러입니다. (입력 토큰은 모델에 공급되는 토큰이고, 출력 토큰은 모델이 입력 토큰을 기반으로 생성하는 토큰입니다). 이미지 처리 GPT-4 Turbo의 가격은 이미지 크기에 따라 달라집니다. 예를 들어 1080×1080 픽셀의 이미지를 GPT-4 Turbo에 전달하면 0.00765달러가 든다고 OpenAI는 말합니다.
OpenAI는 오늘 아침 테크크런치와 공유한 블로그 게시물에서 "성능을 최적화하여 GPT-4에 비해 입력 토큰은 3배, 출력 토큰은 2배 더 저렴한 가격으로 GPT-4 Turbo를 제공할 수 있게 되었습니다."라고 설명합니다.
GPT-4 Turbo는 요청에 응답할 때 활용할 수 있는 최신 지식 기반이 추가되는 등 GPT-4에 비해 몇 가지 개선된 점을 자랑합니다.
모든 언어 모델과 마찬가지로 GPT-4 Turbo는 기본적으로 단어를 예측하기 위한 통계 도구입니다. 주로 웹에서 방대한 양의 예시를 제공받은 GPT-4 Turbo는 주변 텍스트의 의미론적 맥락을 포함한 패턴을 기반으로 단어가 발생할 가능성을 학습합니다. 예를 들어, "기대..."로 끝나는 일반적인 이메일이 있다고 가정해 보겠습니다. GPT-4 Turbo는 "... 답장을 기다립니다."로 이메일을 완성할 수 있습니다.
GPT-4는 2021년 9월까지의 웹 데이터로 학습되었지만, GPT-4 Turbo의 지식 컷오프는 2023년 4월입니다.
즉, 최근 사건에 대한 질문(적어도 새로운 마감일 이전에 발생한 사건)은 더 정확한 답변을 얻을 수 있습니다.
또한 GPT-4 Turbo에는 확장된 컨텍스트 창이 있습니다.
토큰 단위로 측정되는 컨텍스트 창은 모델이 추가 텍스트를 생성하기 전에 고려하는 텍스트를 나타냅니다.
컨텍스트 창이 작은 모델은 아주 최근의 대화 내용도 "잊어버리는" 경향이 있어 종종 문제가 되는 방식으로 주제를 벗어날 수 있습니다.
GPT-4 Turbo는 128,000개의 토큰 컨텍스트 창을 제공하며, 이는 GPT-4의 4배 크기이자 상용 모델 중 가장 큰 컨텍스트 창으로, 심지어 Anthropic의 Claude 2를 능가하는 크기입니다.
(클로드 2는 최대 100,000개의 토큰을 지원하며, 앤트로픽은 200,000개의 토큰 컨텍스트 창을 실험 중이라고 주장하지만 아직 공개적으로 발표하지 않았습니다). 128,000개의 토큰은 약 100,000단어 또는 300페이지에 해당하는 분량으로, 참고로 <위저드>, <걸리버 여행기>, <해리포터와 아즈카반의 죄수>의 분량과 비슷합니다.
또한 GPT-4 Turbo는 새로운 'JSON 모드'를 지원하여 모델이 개방형 표준 파일 형식이자 데이터 교환 형식인 유효한 JSON으로 응답하도록 보장합니다. 이는 서버에서 클라이언트로 데이터를 전송하여 웹 페이지에 표시할 수 있도록 하는 웹 앱과 같이 데이터를 전송하는 웹 앱에 유용하다고 OpenAI는 말합니다. 그 밖의 새로운 매개변수를 통해 개발자는 모델이 "일관된" 완료를 더 많이 반환하도록 할 수 있으며, 틈새 애플리케이션의 경우 GPT-4 Turbo에서 생성된 가장 가능성이 높은 출력 토큰에 대한 확률을 기록할 수 있습니다.
"GPT-4 Turbo는 특정 형식 생성(예: '항상 XML로 응답')과 같이 지침을 주의 깊게 따라야 하는 작업에서 이전 모델보다 더 나은 성능을 발휘합니다."라고 OpenAI는 설명합니다. "그리고 GPT-4 Turbo는 올바른 함수 매개변수를 반환할 가능성이 더 높습니다."
GPT-4 업그레이드
OpenAI는 GPT-4 Turbo를 출시하면서 GPT-4를 소 홀히 하지 않았습니다.
오늘, 이 회사는 GPT-4를 미세 조정하기 위한 실험적 액세스 프로그램을 시작합니다.
GPT-4의 이전 버전인 GPT-3.5의 미세 조정 프로그램과는 달리, GPT-4 프로그램은 주로 기술적 장애물로 인해 OpenAI 팀의 더 많은 감독과 지도를 받게 될 것이라고 회사 측은 말합니다.
"예비 결과에 따르면 GPT-3.5 미세 조정을 통해 실현된 상당한 이득에 비해 기본 모델에 비해 의미 있는 개선을 달성하려면 GPT-4 미세 조정에 더 많은 작업이 필요합니다."라고 OpenAI는 블로그 게시물에 썼습니다.
한편, OpenAI는 모든 유료 GPT-4 고객의 분당 토큰 전송량 한도를 두 배로 늘린다고 발표했습니다. 그러나 가격은 입력 토큰당 0.03달러, 출력 토큰당 0.06달러(8,000토큰 컨텍스트 창이 있는 GPT-4 모델의 경우) 또는 입력 토큰당 0.06달러, 출력 토큰당 0.012달러(32,000토큰 컨텍스트 창이 있는 GPT-4의 경우)로 동일하게 유지될 예정입니다.