ollama기반-미스트랄 7B모델에 API로 접속하는 파이썬 코딩


ulsancoding

or

https://blog.naver.com/ulsancoding/223331739951


프랑스제 오픈소스 미스트랄의 API 방식 연결은 사실 월 20달러 유료로 제공되는 서비스다.

​미스트랄 7B 모델에 대해서 소개하는 두 가지 무료 연결 방식중 하나는 다른 미스트랄 아티클에서 소개했던 허깅페이스에서 제공하는 inference API 방식이 첫번째이고, 허깅페이스의 API_TOKEN을 이용해 미스트랄 AI를 연결해 응답을 하도록 코드 개발을 같이 해봤다.

두번째는 ollama를 이용해서 미스트랄7B에 연결하는건데 윈도 10/ 윈도 11에서 ollama 설치가 가능하다. 또한 구글 제미나이 프로나 openAI cURL커맨드와 다르게 API_TOKEN 연결이 전혀 필요없다.

즉, 무료로 미스트랄 API 서비스를 쓰기위해 ollama로 우회하는 공략법을 찾았다.

ollama에서 로컬로 설치한 미스트랄 LLM은 따로 API_TOKEN을 넣지않아도 (신용카드 결제 없이도) 미스트랄 AI 모델에 14434포트로 접속하고, LLM의 응답을 받을수 있다.


예제 파이썬 소스코드가 제공된다


2

(채용) 크리에이터, 마케터, AI 엔지니어

지피터스: 콘텐츠를 AI로 재가공 해 원소스 멀티유즈하는 스타트업

👉 이 게시글도 읽어보세요