📝 한줄 요약
헤르메스 + 클로드 API + 디스코드로 AI 비서를 만들었다가, 클로드 API 요금 압박에 무료 LLM으로 갈아탄 후기.
😫 문제 상황 (Before)
자비스 같은 나만의 AI 비서를 갖고 싶었음.
헤르메스 + 클로드 API + 디스코드를 조합해 봇과 첫 대화에 성공했을 때는 창조주가 된 것 같은 감동이었음. 그런데 너무 빨리 현실 이 찾아옴. 대화할수록 클로드 API 추가 결제 압박이 밀려왔고, 중단 없는 대화를 위해 무료 LLM 연결을 결심함.
🛠️ 사용한 도구
AI 허브: 헤르메스(Hermes)
메신저: 디스코드(Discord)
서버: 아마존 라이트세일 (8GB RAM, 2 vCPU, 160GB SSD / 첫 60일 무료 추정)
성능 테스트 조력자: 클로드 Haiku 4.5 (API)
최종 선택 모델: 오픈라우터 owl-alpha (무료)
🔧 작업 과정
1단계: 서버에 맞는 모델, AI한테 골라달라고 했더니
맥미니도 없고 24시간 켜둘 컴퓨터도 없어서 아마존 라이트세일 가상 서버를 빌림. 헤르메스 + 클로드 API + 디스코드 세팅 완료. 가성비 모델로 바꾸기 위해 디스코드 봇을 통해 클로드에게 첫 번째 요청을 보냄.
이 서버에 가장 적합한 local 모델 확인클로드는 서버에 설치된 3개 모델(Ollama, Hermes3, Llama3.2)을 살펴보고 Hermes3가 가장 적합하다며 모델을 바꾸겠냐고 물음. 성능 테스트를 먼저 하도록 요청.
벤치마크 테스트(한국어 응답, 지시 따르기, 응답 속도)를 먼저 비교이번에는 "메모리가 부족하다"며 Llama3.2로 추천을 바꿈. 헤르메스에 Llama3.2를 연결하도록 함. 전에는 내가 직접 모델을 바꾸고 수동으로 테스트(체감)를 했는데, 이 과정을 봇에게 위임하니 편리하고, 정확하고, 시간을 아낄 수 있었음.
2단계: 한국어의 벽
Llama3.2를 연결하고 테스트했더니, 클로드가 "한국어 토큰 처리 속도가 매우 느리다"고 함. 유명한 모델도 한국어 앞에서는 성능이 급격히 떨어질 수 있다는 걸 처음 실감함.
클로드는 Llama3.2 + Claude Haiku 하이브리드 설정을 제안했는데, 어떻게 하는 건지 몰랐지만 그러라고 함. 결국 헤르메스 화면에서는 클로드만 계속 보였고, 하이브리드가 제대로 된 건지 지금도 의구심이 남아있음.
3단계: 별 기대 없이 고른 owl-alpha가 통함
어제 가성비 헤르메스 OT에서 배운 오픈라우터를 써보기로 함. 서버에서 헤르메스 모델 설정을 열고 오픈라우터를 선택한 뒤, 미리 받아둔 API 키를 입력함. 무료 모델 목록 중 owl-alpha를 별 기대 없이 골랐음.
봇을 재기동하고 대화해봤는데, 생각보다 빠르고 쓸만했음.
💡 배운 점
모델 선정 및 성능 테스트를 AI에게 위임하면 시간을 크게 아낄 수 있음
유명 모델도 한국어 처리 성능은 천차만별 — 반드시 직접 테스트 필요
AI 답변은 계속 바뀔 수 있음. 최종 확인은 사람이 할 필요
가성비 LLM이 너무나 다양함 — 결국 내 사정에 맞는 모델을 찾는 게 중요함
🚀 앞으로의 계획
봇에게 지금까지는 환경 세팅만 시켰는데, 이제 진짜 비서로 키울 차례
n8n 연동: 업무 자동화 워크플로우 구축
단순 Q&A를 넘어, 유능한 비서로 성장시키는 것이 목표
