ulsancoding.com
or
https://blog.naver.com/ulsancoding/223357432115
윈도10 / 윈도 11 OS 에서 로컬 AI 모델을 돌리게 해주는 ollama를 이용해서 한국어를 잘 이해하는 미스트랄 7B나 마이크로소프트 phi, 코드라마 34B 모델 등을 로컬 윈도OS에 설치하고, REST API를 쓰는 방식에 맞춰 웹 개발자들이 특히 좋아하는 POSTMAN 툴로 내 로컬 ollama서버와 웹서비스 API 호출을 하는 방식으로 vkdnsepdltus 모델에게 응답받는 소스코드 예제를 준비했다.
이 게시물에선 로컬 ollama에 아주 작은 Microsoft phi 모델과 통신한다.
POSTMAN 을 사용한 개발 방식을 이해한다면 기업 온프레미스 환경에서 기업 내부 서버들및 PC이 LLM과 통신하는 형태로 웹 개발자들이 구축에 사용할수 있을것이다.