1주일째 고민중입니다. 오래된 맥북으로..그나마 가지고있는 상급의 서버에서 Ollama / LM-Studio를 사용하여 LLM 서버구축을 했는데 응답이 느려 많이 불편합니다.
OpenAI API를 쓰자니 아직 서비스도 안하는 중에 비용과금이 많이 거슬려서 직접 구축하려고합니다.
일반 데탑으로 구축하려고 했으나, MAC Studio M2 Ultra 급이면 충분한지 과한지 궁금합니다.
서버형태로 구축하고 다른 서비스 프로그램에서 API 형태로 호출하여 각자의 서비스에 적용할 계획입니다.
물류/유통 관련 프로그램과 모바일 앱서비스를 운영하고 있는 회사 입니다.
과거의 축적된 데이타의 기반으로 기존 시스템에 고도화된 서비스를 기획하고있고, 빠르게 R&D하여운영서비스에 적용하고자합니다.
혹시 MAC Mini 급으로도 충분한지 주변에 물어보고자 하였으나 경험자가 전혀 없어서.. 거의 MAC Mini를 구매하러 갔다가 급 선회하여 고민중입니다.
다양한 LLM 서버의 경험자분들의 조언좀 부탁드립니다.