LLM 서버를 구축하려는데, MAC Studio 적당한가요? 과한가요?
2024.09.26
1주일째 고민중입니다. 오래된 맥북으로..그나마 가지고있는 상급의 서버에서 Ollama / LM-Studio를 사용하여 LLM 서버구축을 했는데 응답이 느려 많이 불편합니다.
OpenAI API를 쓰자니 아직 서비스도 안하는 중에 비용과금이 많이 거슬려서 직접 구축하려고합니다.
일반 데탑으로 구축하려고 했으나, MAC Studio M2 Ultra 급이면 충분한지 과한지 궁금합니다.
서버형태로 구축하고 다른 서비스 프로그램에서 API 형태로 호출하여 각자의 서비스에 적용할 계획입니다.
물류/유통 관련 프로그램과 모바일 앱서비스를 운영하고 있는 회사 입니다.
과거의 축적된 데이타의 기반으로 기존 시스템에 고도화된 서비스를 기획하고있고, 빠르게 R&D하여운영서비스에 적용하고자합니다.
혹시 MAC Mini 급으로도 충분한지 주변에 물어보고자 하였으나 경험자가 전혀 없어서.. 거의 MAC Mini를 구매하러 갔다가 급 선회하여 고민중입니다.
다양한 LLM 서버의 경험자분들의 조언좀 부탁드립니다.
로그인하고 댓글을 남겨 주세요
학습이 필요한게 아니고 추론용이라면 m2울트라면 라마 70b 돌리는데 저전력에 과하지도않고 부족하지도 않고 적당합니다. 미니는 램,대역폭 둘다 부족합니다

사용자가 얼마나 되나요?
답변 감사합니다. 개발용으로 준비중이라서..아직 서비스용 사용자는 없죠.ㅜㅜ
동시접속 몇명이상부터 주의해야할까요? 갑자기 궁금해진요..^^