- 현재 OpenAI는 GPU 자원 때문에 제약을 받고 있다.
더 긴 32k 컨텍스트는 아직 많은 사람들에게 공개할 수 없다. OpenAI는 아직 주의력의 O(n^2) 스케일링 문제를 해결하지 못했다. 그럼에도 불구하고 올해 안에 10만~100만 토큰의 컨텍스트 윈도우에 도달할 수 있을 것으로 보인다.
파인 튜닝 API는 현재 GPU 자원의 한계 때문에 병목현상을 겪고 있다. 아직 Adapters나 LoRa와 같은 효율적인 파인튜닝 메소드는 사용하지 않고 있다. 현재 파인 튜닝은 많은 컴퓨팅 리소스를 사용한다. 파인튜닝을 위한 더 나은 지원이 있을 예정이다. 어쩌면 커뮤니티가 호스팅하는 모델들의 마켓플레이스가 있을지도 모르겠다.
2. OpenAI의 단기 로드맵
2. OpenAI의 단기 로드맵
2023
- 더 저렴하고 빠른 GPT-4 : 현재 최우선사항. 비용을 낮춤으로써 지식의 비용을 낮추려고 하는 것이 목표.
- 더 긴 콘텐스트 윈도우 : 1백만 토큰 윈도우가 가까운 미래에 실현 될 것으로 보임.
- 파인튜닝 API : 파인튜닝 API가 최신 모델까지 확장될 것임. 다만 정확한 형태는 개발자가 정말 원하는게 무엇인지에 따라 결정될 것임.
- Stateful API : 현재 chat API는 대화 내용을 전부 보내서 맥락을 기억해야 함. 하지만 미래에는 대화 이력을 기억하는 API가 있을 예정임.
2024
- 멀티 모달리티 (이미지 등 멀티미디어 지원) : GPT-4의 데모에 포함됐지만 더 많은 GPU가 온라인에 있기 전까지 확장할 수 없을 것 같음.