ulsancoding
or
https://blog.naver.com/ulsancoding/223331739951
프랑스제 오픈소스 미스트랄의 API 방식 연결은 사실 월 20달러 유료로 제공되는 서비스다.
미스트랄 7B 모델에 대해서 소개하는 두 가지 무료 연결 방식중 하나는 다른 미스트랄 아티클에서 소개했던 허깅페이스에서 제공하는 inference API 방식이 첫번째이고, 허깅페이스의 API_TOKEN을 이용해 미스트랄 AI를 연결해 응답을 하도록 코드 개발을 같이 해봤다.
두번째는 ollama를 이용해서 미스트랄7B에 연결하는건데 윈도 10/ 윈도 11에서 ollama 설치가 가능하다. 또한 구글 제미나이 프로나 openAI cURL커맨드와 다르게 API_TOKEN 연결이 전혀 필요없다.
즉, 무료로 미스트랄 API 서비스를 쓰기위해 ollama로 우회하는 공략법을 찾았다.
ollama에서 로컬로 설치한 미스트랄 LLM은 따로 API_TOKEN을 넣지않아도 (신용카드 결제 없이도) 미스트랄 AI 모델에 14434포트로 접속하고, LLM의 응답을 받을수 있다.
예제 파이썬 소스코드가 제공된다