Ubuntu로 가성비 Hermes 실현하기

소개

가성비 스터디인 만큼 Ubuntu에 Hermes 설치하고 LM Studio에 gemma-4-e4b 설치/연결 시도

진행 방법

어떤 도구를 사용했고, 어떻게 활용하셨나요?

우선 가성비를 실현하려면 맥미니로는 한계가 있을 것 같다는 생각에 미니 PC에 램을 64로 해서 로컬 모델이 편하게 작동할 수 있는 환경을 구성하는 것을 목표로 했음.

• ubuntu 26.04 (최신 LTS 버전)

• gemini 3.0 flash로 가이드 받음.

• 1주차 스터디에서 배운 내용을 복기하면서 따라가기.

1. 가성비를 구현하기 위해, 남아있는 DDR5 32M 2개를 활용방안을 모색했음.
   당근에서 HS-8864 스펙의 라이젠 7 CPU 탑재 베어본을 찾아서 구매.
   역시 남있던 1T Nvme. M2 SSD를 연결.
   
   - 조립은 쉽습니다. 해본 적 없는 분들도 두려움 없이 해볼 수 있음

2. ubuntu 설치.
   여기서 부터 gemini의 가이드를 받아가며 설치 시작.
   (참고로 제가 당근에서 구매한 베어본을 판매하신 판매자 분이 너무 친절하셨고,
   여러 하드웨어 설정으로 22.04 버전이 더 좋을 것이라는 말씀을 들었음)
   
   그런데 gemini는 26.04가 오히려 제 베어본에는 더 좋다는 말로 유혹 > 홀딱 넘어감.
   
   과정은 남는 USB 8M만 있으면 다운받아서 설치하면 됩니다. 윈도우에서 프로그램 하나를 깔아야하는데 그 이름은 gemini가 다 알려줬고 지금은 기억도 못함.
   
   실제 설치과정은 윈도우 설치와 비슷합니다. 생각보다 너무 쉬운데의 느낌

3. 터미널이 기본으로 있기 때문에 실행 후 필요한 설치를 진행하는데 무리 없음. 터미널이 익숙하지 않다면 문제일 수 있으나, 사실 조금 고생하면 극강 가성비가 얻어질 수 있다는 믿음을 갖고 계속 진행했습니다. 1주차 시연에서 봤던 것과 기억을 더듬어 진행하였고 맥 환경과 똑같다는 것을 느낄 수 있습니다.
   
   개인적으로 터미널에 익숙한 것도 있겠으나 윈도우와 가장 큰 차이 프로그램 설치 부분에서의 어려움만 극복하면 맥과 유사한 환경이 구축됩니다.

4. PC와의 연결은 NoMachine + tailscale 조합으로 설치하여 구글데스크탑같은 원격을 사용하여 조작하고 있습니다. (이건 맥과 환경이 같아요.)

LM Studio를 설치하며...

ALT

'첫 번째 모델'이라는 텍스트가 포함된 웹페이지의 스크린샷

gemma-4-e4b 설치하며

ALT

컴퓨터 화면의 다운로드 버튼 스크린샷

hermes와 연결(모델 설치) 과정에 어려움이 생겼습니다. 우리가 배웠던 OpenAI Compatible 옵션이 보이지 않았고 gemini도 최신 옵션을 모르는 것 같았습니다. local 어쩌고 가 있어서.. 최종적으로 연결에 성공하였고.

ALT

명령 목록을 보여주는 컴퓨터 화면의 스크린샷

위 화면은 성공 후였지만, LM STUDIO에서 설정을 좀 만져줘야한다는 것을 시행착오 끝에 알게됨.
제가 직접 좌충우돌하며 설정했지만 (gemini 도움으로) 나중에 다하고 나니 이건 1주차 시연에서 이미 다 설명하셨던 내용이었이 기억 났어요.

Gemini의 가이드를 받으며 샛길로 빠지지 않으려면, 얘한테 hermes가 뭔지 정확히 알려줘야 합니다. 현재 날짜를 프롬프트로 입력하고 아래와 같이 설명하여 정확히 hermes를 인지시키고 가이드를 받았습니다.

``현재 시점에서 hermes는 agent 로 외부 모델을 연동해서 AI agent로 동작하는 프레임워크 중에 하나야.

최신 검색을 통해 이것이 무엇인지 갱신하고 이것과 방금 설치한 LM STUDIO와 연동하는 방법을 가이드해줘.``

ALT

컴퓨터 화면에 표시된 문자 메시지의 스크린샷

설치 후 최초로 대화를 시도했을 때 나온 답변! 문제 있음.

해당 내용을 gemini에게 던지고 뭐야? 했더니

ALT

한국어 텍스트가 있는 검은 화면

시연 때 역시 봤던 것. 그러나 기억을 못하고 있다가 해당 메뉴 찾아서 설정 변경하여
최종적으로 대화에 성공했습니다.

근데 너무 느려요. ㄲㄲ

결과와 배운 점

배운 점과 나만의 꿀팁을 알려주세요.

AI Agent는 AI의 도움을 받으며 설치할 수 있다. 진짜 가성비는 장비 지출을 줄이는 것.

진행과정에서 모든 지식을 알 필요는 없다. 진행에 필요한 키워드 들만 알고 있으면 Gemini와 협력해서 진행할 수 있다.

Ubuntu, Hermes, LM STUDIO, gemma-4-e4b, context size

과정 중에 어떤 시행착오를 겪었나요?

• LM Studio 설정 - Hermes의 기본 컨텍스트 윈도우가 커서 기본 LM Studio 컨텍스트 윈도우 사이즈로는 안되서 설정을 변경해야한다는 것

• Gemma-4-e4b를 설치하고 LM Studio에서는 대화가 되나 Hermes로 연결하려면 로컬서버를 띄워야 한다는 것.

앞으로의 계획이 있다면 들려주세요.

• 응답이 느린 점을 감안하여 이 아이에게 어울리는 작업을 선정하여 배분.

• multi model을 설정하여 빠른 작업이 필요한 것은 사용 API 쓰도록 설정

도움 받은 글

참고한 지피터스 글이나 외부 사례를 알려주세요.

22기 가성비 Hermes 스터디장님의 시연이 모든 것을 포함합니다.