가지고 있는 자료를 조금 더 잘 활용하기 위해서 데스크탑에 Ollama를 이용하여 개인적인 RAG를 시험해 보기로 했습니다. 유튜브를 뒤져서 ollama 관련한 문서와 동영상을 몇 개 찾아 본 후 그중 code를 친절하게 가르쳐 주는 곳에서 얻은 coding으로 시도했는데 시행착오를 겪으면서 어찌어찌 결과를 얻었습니다.
Ollama #1: 비용 걱정 없이 내 컴퓨터에서 제약 없는 LLM 실행하기 | AI&GameDevhttps://youtu.be/4HfSfFvLn9Q?si=uTuj7EqjwTTth64_
coding을 파이썬을 기본적인 수준으로 알고는 있지만 debugging에는 자신이 없는데 코드 돌릴 때 마다 발생하는 bug를 챗GPT에 물어보면서 수정을 하다보니 결과가 나오더군요.
데스크탑에서 vscode로 작업을 했구요, 코드의 일부가 보입니다.
문서는 이게 아직 한글이 안되어서 한 번은 영어판 Little Mermade를 텍스트로 넣었구요, 한 번은 Romeo and Juliet 희곡의 영어 원본을 넣고 질문을 해 봤습니다. 먼저 Little Mermade인데 질문도 하드코딩으로 때려 넣었습니다. “Who is the happiest character in this story?”
코드를 돌렸더니 아래와 같이 답을 하네요.
세째 여동생이 제일 행복할 거라는 이유가 납득할만 하 더라구요.
pdf 올린 것은 아래에 있는데 “Who is Remeo?”라고 물어봤어요.
그리고는 “Who loved Juliet?” 이라고 물어봤는데, Paris와 Romeo의 삼각관계를이야기하네요.
코드만 겨우 기본적으로 알 뿐, 디버깅을 잘 모르면서도 디버깅해 가면서 여기까지 온게 신기하네요. 이런게 가능하네요.
#10기로우코드 #Ollama #로컬LLM #Mistral #RAG #private
