소개
목표 : Openrouter 사용하여 Openai5.5 토큰 다 떨어졌을 때 무료 모델로 교체하기
맥돌님 가성비Hermes 1주차 스터디를 진행 후
유료 모델 토큰이 다 되어서 교체해 봤는데, 결론부터 말하자면 유료가 괜히 유료가 아니다. 이제 방법은 알았으니 나중에는 모델 교체하며 사용할지언정 지금은 아직 초반이라 AI와 많은 이야기를 나누고 수정해야 하니 유료 모델을 쓰자는 결론이다.하지만 좋은점은 덕분에 Hermes 가 어떤 식으로 워킹하는지 잘 알게 되었고 모델 교체 방법과 오류가 일어나면 어떻게 되는지 재미있는 경험을 했다.
배경설명 : 먼저 이해를 돕기위해 간단한 배경을 설명하면 저는 Hermes 를 슬랙으로 사용하고있고 LLM Wiki 방식 모르겠고 (나중에 보니 저는 이미 적용되어있더라고요, 일하는 방식대로 구성을 하다보니 이미 그런 구조였다는 이야기...) 그냥 제 세계관을 먼저 만들고 유미의 세포처럼 저만의 세포들과 일하고 싶어서 그렇게 구성하고 일하고 있습니다 🙂
진행 방법
처음부터 이해가 안되었던 부분
: hermes 라고 쳐서 나온 hermes는 deepseek4 이고 슬랙에 연결한 model 은 openrouter /owl-alpha 이다. 왜 둘이 다르지? 둘이 맞추려면 어떻게 해야하지?
>> 그런데 이건 당연한 것이었다. Hermes 의 모델은 따로, 그리고 슬랙에 연결되는 봇의 모델은 또 별도이다. 그래서 다 각각 설정해줘야한다.
일괄 설정하는 법도 있는데 어차피 다 상태 확인해줘야한다.한국어 텍스트가 있는 검은 화면
슬랙봇은 각각 하나씩의 모델을 넣을 수 있어서, 메인 모델을 변경했더라도 나머지 봇의 모델에 그 변경 사항이 반영되지 않을 수 있다. 그래서 봇이 여러 개라면 각 봇의 모델을 일일이 매칭시키고 확인하는 것이 안전하다.
헤르메스가 말해주는 모델 수정 방법은 아주 엉터리일 때가 많다. 다른 방법을 hermes 랑 ai가 말해줘서 그걸 해봤는데 완전 실패였다.
아래처럼 해결된 것처럼 말했는데 확인해보니 슬랙에서 또 에러가 나고있었다. 해결된게 X한 국어 텍스트가 있는 화면의 스크린샷
한국 앱 스크린샷
아래는 촌장이를 애타게 찾는 나.. 내 세포마을 세포가 다 죽어서 심폐소생술 계속했다.
이러는 원인은 Hermes 에서 env 파일에서 읽는 명령어와, Openai5.5와 slack 을 연결해서 쓸 때 slack을 허용하는 명령어 방식이 달라서였다. 그리고 openrouter api key 도 잘못 들어가있었다. 그래서 수정하고 Hermes slack 접근용 한 줄을 추가했다.휴대폰에 있는 한국어 채팅 앱의 스크린샷
AI 말을 따르며 고군분투 하다 하루를 다 잡아먹었는데 그냥 아래 방법이 제일 잘 먹히고 쉽다. 바로 hermes model 을 치거나 config 를 쳐서 모델을 변경하고 gateway 리스타트 해서 확인하는게 최고로 빠르다.
hermes model
hermes config각각의 모델 수정
hermes model --profile 봇이름각각의 모델 리스타트/스타트
hermes gateway restart --profile 봇이름
hermes gateway start --profile 봇이름결과
무료모델 쓰고 에러가 일어났다.
이렇게 겨우 연결이 성공되었다. 그런데 조금 이상했다. 모델이 갑자기 외국어를 하기시작하고 부르지도 않았는데 혼자 채널에 외국어랑 섞어서 글을 마구 쓰기 시작했다.
그래서 모델을 Nvidia 모델로 바꾸니 괜찮아졌다.그런데 이상한건 야망이는 모델이 owl-alpha 그대로인데 이런 이슈도 안일어나고 잘 되었다. 왜 마을 촌장만 이런 이슈가 발생했던 걸까? 그리고 hermes model 을 해서 모델을 변경하면 왜 야망이는 안바뀌고 마을 촌장만 모델이 변경될까.
그냥 hermes model 만 애서 변경하면 마을 촌장만 바뀌고 각각 프로필을 명명해서 model 을 바꿔야 각각 다르게 적용되는 것 같다.
그리고 이게 codex는 자동으로 시작되는거 설정 해뒀는데 모델을 바꾸니까 컴퓨터 켰을 때 바로 슬랙을 들어가서 말하면 답하던 세포들이 답하지 않는다. gateway auto connected 작업 해두었던게 안되는 듯. 다시 작업해야한다.
자동시작은 한번 설정하고나서 스킬로 만들어 두는게 좋다. Hermes 에게 시키면 같은 openai 5.5 모델이어도 설정했다고 했는데 안될때가 있어서 그 때는 코덱스 앱으로 가서 시키면 잘 작업해준다.
오프라인 스터디 때 물어보니 그럼 그 무료모델이 불안정해서 에러를 일으킨 것 같다고 한다. 그리고 모델이 바뀔 때마다 느끼는건데 말투가 soul 설정 잘 해놨는데도 조금씩 바뀐다. 방식도 바뀐다. 그래서 내 생각에 무료 모델은 퀄리티가 상관없는 반복작업에만 쓰는게 좋을 것 같다.
한국어 채팅 앱 스크린샷
강점이 뭐냐고 물었는데 무료 버전 owl-alpha 는 구체적 스펙을 확인하기 어렵다고 한다. 당연히 무료인 만큼 학습에 사용함을 동의하기 때문에 예민한 일을 시킬수도 없다.
글고 Nvidia 모델을 쓰는 마을 촌장은 몇번 안썼는데 토큰 다 되어서 오류가 나고있었다. 아 무료모델..
한국어 문자 메시지 스크린샷
한국어 문자 메시지 스크린샷
이걸 하다보니 아 그냥 몇만원 더 내고 유료 모델로 갈아타는게 더 이득일 수도 있겠다는 생각을 했다.
나의 시간이 아까워.. 그런데 무료 모델들을 여러개를 돌려쓰도록 env에 여러 키값을 다 넣어놓고 안되면 다른 걸로 돌려쓰면서 써. 라고 하면 되긴 할 것 같은데
그렇게 되면 모델의 퀄리티가 업다운이 심해서 기계적으로 크롤링을 해오거나 하는 것은 무료 모델을 쓰고, 내 개인정보를 다루는 모델은 openai 5.5 코덱스로 쓰는 것을 생각해 보았다.
그래도 재미있는 경험이었고 Hermes 에 대해서 많이 배울 수 있었다. 나중에 완전 자동화 시켰을 때 내 토큰 쓰기 아까운건 무료로 다 돌려야징.🤓 역시 돈 최고! 나는 이 수업을 듣고나서 하루동안 모델 갈아끼우기를 해보고 오히려 Codex 업그레이드를 했다. -끝.-
도움 받은 글
맥돌님의 1주차 스터디 영상에서 알려준 Hermes 모델 수정 방법. + AI로 서치하면서 진행
