💡 Mac mini에 LLM 설치해서 나만의 지식 비서 만들기(1)

💡 Mac mini에 LLM 설치해서 나만의 지식 비서 만들기

소개

최근 AI를 활용한 지식 관리에 관심이 많아졌습니다. 하지만 매달 지출되는 GPT 구독료는 은근히 부담스럽더라고요. 🤯 그래서 '이걸 홈서버에서 로컬로 돌릴 수 없을까?'라는 생각으로 시작했습니다.

Mac mini 한 대로 나만의 지식 자동화 시스템을 구축하는 것이 이번 실험의 목표였습니다. 단순히 LLM을 설치하는 데 그치지 않고, 질문-답변 내용을 Markdown으로 정리하고 Obsidian에 쌓아두며, 필요할 땐 검색도 가능한 개인 RAG 시스템까지 완성해보자는 야심찬 프로젝트였죠. 이름하여 NavisRAG 🚀

진행 방법

🖥 사용한 환경

• Mac mini (2024 중고 구매)

  • 모델: Mac14,3

  • 칩셋: Apple M2 (8코어: 4P + 4E)

  • 메모리: 16GB

  • 디스크: 512GB SSD

• 네트워크: LGU+ 공유기

• LLM 런처: Ollama (또는 LM Studio)

• 모델: LLaMA 3 8B (4bit 양자화)

🧠 시스템 구성도

[ChatGPT 대화] → .md 저장 → n8n/Python 파서 → Obsidian 정리 → Chroma 벡터 DB → 로컬 LLM (Ollama)

⚙️ 구축 단계 요약

1. Ollama 설치

brew install ollama

2. 모델 다운로드

ollama pull llama3

3. 서버 실행 및 테스트

ollama run llama3
curl localhost:11434/api/generate -d '{"prompt": "Hello!"}'

🧪 실행 및 테스트

• 대화 테스트 (CLI 상에서)

ollama run llama3

ALT

한국 텍스트 편집기의 스크린 샷

• API로 호출 테스트

curl <http://localhost:11434/api/generate> -d '{
  "model": "llama3",
  "prompt": "Mac mini에서 실행할 수 있는 로컬 LLM 추천해줘."
}'

• Python 연동 테스트 (옵션)

import requests

res = requests.post("<http://localhost:11434/api/generate>", json={
    "model": "llama3",
    "prompt": "맥미니에서 할 수 있는 서버 프로젝트 뭐가 있을까?"
})
print(res.json())

🛠️ 유지 관리

• 모델 실행 상태 확인

ollama list

결과와 배운 점

✅ 잘 된 점

• M2 Mac mini로도 LLM이 꽤 안정적으로 돌아감

• Ollama는 설치와 실행이 직관적이고 빠름

• Markdown 기반 지식 자동화 시스템 만족도 높음

😅 아쉬운 점 & 개선할 부분

• 기본 설치 모델은 모두 영어로 응답함 → 한글 특화 모델로 변경 필요

• 매번 비밀번호 입력 번거로움 → SSH 키 자동화로 해결

💡 느낀 점

"AI는 비싸다"는 편견을 깰 수 있었던 경험이었어요. 약간의 초기 셋업만 넘기면, 매달 수 만 원의 구독료 없이도 충분히 쓸만한 시스템을 만들 수 있다는 걸 체감했습니다. 앞으로는 한글 특화 모델을 추가해 더 자연스러운 응답을 목표로 해보려 합니다 😊