LLM 서버를 구축하려는데, MAC Studio 적당한가요? 과한가요?
2024.09.26
1주일째 고민중입니다. 오래된 맥북으로..그나마 가지고있는 상급의 서버에서 Ollama / LM-Studio를 사용하여 LLM 서버구축을 했는데 응답이 느려 많이 불편합니다.
OpenAI API를 쓰자니 아직 서비스도 안하는 중에 비용과금이 많이 거슬려서 직접 구축하려고합니다.
일반 데탑으로 구축하려고 했으나, MAC Studio M2 Ultra 급이면 충분한지 과한지 궁금합니다.
서버형태로 구축하고 다른 서비스 프로그램에서 API 형태로 호출하여 각자의 서비스에 적용할 계획입니다.
물류/유통 관련 프로그램과 모바일 앱서비스를 운영하고 있는 회사 입니다.
과거의 축적된 데이타의 기반으로 기존 시스템에 고도화된 서비스를 기획하고있고, 빠르게 R&D하여운영서비스에 적용하고자합니다.
혹시 MAC Mini 급으로도 충분한지 주변에 물어보고자 하였으나 경험자가 전혀 없어서.. 거의 MAC Mini를 구매하러 갔다가 급 선회하여 고민중입니다.
다양한 LLM 서버의 경험자분들의 조언좀 부탁드립니다.
로그인하고 댓글을 남겨 주세요

학습이 필요한게 아니고 추론용이라면 m2울트라면 라마 70b 돌리는데 저전력에 과하지도않고 부족하지도 않고 적당합니다. 미니는 램,대역폭 둘다 부족합니다
답변 감사합니다..
미니..네..그렇군요. 일단, Mac Studio 쿠팡 주문해서 주말에 받아 세팅하고있네요. 이정도면 추론용으로도 충분하겠죠? ㅎ
큰 맘먹고 질렀더니, 경주마 시선입니다. 이제 앞만보고 달릴...ㅋ
@황태연
네 가성비 좋고 충분합니다. 저도 울트라 128g 입니다. 학습이 필요하면 람다로 a100 2~3개 묶어서 씁니다.
@황태연
응원합니다 ㅋㅋ