ollama기반-미스트랄 7B모델에 API로 접속하는 파이썬 코딩
2024.02.20


ulsancoding
or
https://blog.naver.com/ulsancoding/223331739951
프랑스제 오픈소스 미스트랄의 API 방식 연결은 사실 월 20달러 유료로 제공되는 서비스다.
미스트랄 7B 모델에 대해서 소개하는 두 가지 무료 연결 방식중 하나는 다른 미스트랄 아티클에서 소개했던 허깅페이스에서 제공하는 inference API 방식이 첫번째이고, 허깅페이스의 API_TOKEN을 이용해 미스트랄 AI를 연결해 응답을 하도록 코드 개발을 같이 해봤다.
두번째는 ollama를 이용해서 미스트랄7B에 연결하는건데 윈도 10/ 윈도 11에서 ollama 설치가 가능하다. 또한 구글 제미나이 프로나 openAI cURL커맨드와 다르게 API_TOKEN 연결이 전혀 필요없다.
즉, 무료로 미스트랄 API 서비스를 쓰기위해 ollama로 우회하는 공략법을 찾았다.
ollama에서 로컬로 설치한 미스트랄 LLM은 따로 API_TOKEN을 넣지않아도 (신용카드 결제 없이도) 미스트랄 AI 모델에 14434포트로 접속하고, LLM의 응답을 받을수 있다.
예제 파이썬 소스코드가 제공된다

![[문과생도 AI] 돌봄서비스를 위한 대화형 음성 챗봇 구현하기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F923a1463c757342f9ed1da51.png&w=3840&q=75)

![[문과생도 AI] 4주 만에 AI로 서비스 개발하기(10기) 사례발표 썸네일](/_next/image?url=https%3A%2F%2Fcdn.gpters.org%2Fexternal%2F0f4d6639207d9af6a8fd7049.jpg&w=3840&q=75)