요즘 HuggingFace에서 정말 핫합니다!
Cohere사에서 출시한 Command R+ 라는 모델인데요!
아니! 공개한지 2주가 채 안됐는데, 벌써 14만 다운로드를 기록했습니다. 다른 모델과 비교했을 때 정말 높은 수치라고 할 수 있을 것 같네요!
Cohere에서 소개하는 Command R+를 간단하게 설명드리겠습니다.
출처는 이 곳을 참고해주세요!
https://txt.cohere.com/command-r-plus-microsoft-azure/
한 마디로 설명드리자면,
“GPT-4 Turbo와 견주어도 손색이 없을 OpenLLM이 출시되었다”라고 주장하고 있습니다!
이 글에서 GPT-4 Turbo와 비교한 그래프들을 한 번 긁어와 보겠습니다!
LLM 퍼포먼스에서 GPT-4 Turbo가 물론 더 좋은 점수를 보여주고 있지만, 그럼에도 불구하고 토큰당 비용과 비교했을 때 굉장히 합리적인 모델이라 생각되네요.
한국인인 저희들에게는 역시 Multilingual test도 중요하겠죠~
Multilingual 평가도 GPT-4 Turbo와 항목에 따라 약간 앞서거나 뒤쳐지는 모습을 보여주네요. 그러나 이제 토큰이 얼마나 필요한지가 Cohere사가 1.0으로 두었을 때 OpenAI사에서 요구하는 토큰 수가 1.67배 많이 요구한다고 나와있네요! API를 사용하게 된다면 비용 절감도 생각해볼 수 있을 것 같습니다.
그리고 앞에서 설명드린 것 처럼, API 사용시에 1M 토큰 당 비용이 GPT-4 Turbo 모델이 Command R+ 모델보다 Input에서 3배 이상, Output에서 2배의 비용을 요구하고 있기 때문에 이를 종합했을 때, GPT-4보다 조금 부족한 성능이지만 Cost를 따져봤을 때 합리적인 옵션이 될 수도 있을 것 같습니다.
자, 그러면 일단 한 번 써봐야겠죠?
“GPT-4는 ChatGPT로 쉽게 경험해볼 수 있는데, Command R+는 어떻게 쉽게 경험해봄?”
Cohere에서도 챗봇 서비스를 제공합니다.
Command R+ 모델을 “무료”로 사용하실 수 있습니다.
바로 Coral이라는 서비스인데요!
Login | Cohere여기서 Cohere에 로그인해주시고!
대시보드에서 Coral 클릭!
그러면 이 Coral 창이 뜨게 됩니다!
자세히 보시면 Web Search를 통해 실시 간 정보도 얻을 수 있습니다! (사용해 본 결과, 영어로 물어보는 것이 더 정확하긴 합니다 ㅎㅎ;;)
그리고 File을 첨부해서 그 내용을 토대로 질문을 할 수도 있습니다! RAG에 자신있어하는 Cohere이기 때문에 이 부분은 한 번 체험해보셔도 좋을 것 같네요!
자, 이것도 귀찮다!
그런 분들을 위해 HuggingFace에서 Space로 간단하게 체험해보실 수도 있습니다.
https://huggingface.co/spaces/CohereForAI/c4ai-command-r-plus
물론, 채팅만 가능합니다. Web search나 File 첨부는 불가능하다는 점 참고해주세요!
끝으로, 사실 OpenLLM은 사용성 면에서 GPT-4나 Claude 3 Opus 모델과 비교하면 부족한 것이 사실입니다. (Cohere사에서 내놓은 자료에서도 “Claude 3 Opus”와 비교한 자료는 없더라구요 ㅋㅋㅋ.. 아마 꽤 밀리나봅니다.)
그러나, 여러분들이 만약에
API를 다루는 연습을 하고 있는데, GPT-3.5 Turbo보다는 조금 더 나은 모델을 쓰고 싶다.
GPT-4 Turbo에서 조금 더 합리적인 가격인 모델로 갈아타고 싶지만, GPT-3.5 Turbo는 아닌 것 같다.
GPT-4보다 빠른 속도로 챗봇을 이용하고 싶다! (Coral은 아직 많이 사용하지 않기 때문에 ChatGPT 3.5 속도에 비견될 정도로 빠릅니다.)
라고 하면, Command R+ 한 번 경험해보시는 것도 좋을 것 같네요!
이상 데브홍이었습니다. 읽어주셔서 감사합니다!
#10기 #HuggingFace #10기HuggingFace