소개
시도하고자 했던 것과 그 이유를 알려주세요.
로컬LLM을 구동시켜 hermes를 문장 다듬는 용도로 써보려고 했습니다.
진행 방법
LM Studio + Hermes 조합으로요.
Tip: 사용한 프롬프트 전문을 꼭 포함하고, 내용을 짧게 소개해 주세요.
Tip: 활용 이미지나 캡처 화면을 꼭 남겨주세요.
Tip: 코드 전문은 코드블록에 감싸서 작성해주세요. ( / 을 눌러 '코드 블록'을 선택)
컨텍스트 윈도우를 hermes 기준으로 올리고 LM Studio를 돌리니생각지 않은 곳에서 오류가 발생하였는데, 이른바 온도. CPU 온도가 너무 높아져서 컴퓨터가 자꾸 다운. 원격에서 하다보니 시간이 오래 걸리는 줄로 알았는데 세상에 컴퓨터가 다운이네요.
결과와 배운 점
배운 점과 나만의 꿀팁을 알려주세요.
과정 중에 어떤 시행착오를 겪었나요?
도움이 필요한 부분이 있나요?
앞으로의 계획이 있다면 들려주세요.
간혹은 이런 삽질도 경우의 수에 포함해야 시간을 날리지 않을 것 같습니다. 로컬 LLM의 길은 멀고도 험하네요.
해보려던 것은 텔레그램에서 음성으로 입력한 텍스트를 전달하고 해당 봇이 음성에서 이상한 부분 (전사하다보면 자주 발생하는 오입력)을 검토하여 의도가 맞나요 하고 물어보는 용도로 로컬LLM이 기능할 수 있을까 시험하다가 위에 경우를 만나게 되었네요. PC가 뻣어요. ㄲㄲ
LM Studio 외에 다른 로컬LLM 툴을 사용해보고 이후에 비교도 다시 올려보겠습니다.
도움 받은 글 (옵션)
참고한 지피터스 글이나 외부 사례를 알려주세요.
(내용 입력)
