가지고 있는 자료를 조금 더 잘 활용하기 위해서 데스크탑에 Ollama를 이용하여 개인적인 RAG를 시험해 보기로 했습니다. 유튜브를 뒤져서 ollama 관련한 문서와 동영상을 몇 개 찾아 본 후 그중 code를 친절하게 가르쳐 주는 곳에서 얻은 coding으로 시도했는데 시행착오를 겪으면서 어찌어찌 결과를 얻었습니다.
Ollama #1: 비용 걱정 없이 내 컴퓨터에서 제약 없는 LLM 실행하기 | AI&GameDevhttps://youtu.be/4HfSfFvLn9Q?si=uTuj7EqjwTTth64_
coding을 파이썬을 기본적인 수준으로 알고는 있지만 debugging에는 자신이 없는데 코드 돌릴 때 마다 발생하는 bug를 챗GPT에 물어 보면서 수정을 하다보니 결과가 나오더군요.
데스크탑에서 vscode로 작업을 했구요, 코드의 일부가 보입니다.
문서는 이게 아직 한글이 안되어서 한 번은 영어판 Little Mermade를 텍스트로 넣었구요, 한 번은 Romeo and Juliet 희곡의 영어 원본을 넣고 질문을 해 봤습니다. 먼저 Little Mermade인데 질문도 하드코딩으로 때려 넣었습니다. “Who is the happiest character in this story?”
코드를 돌렸더니 아래와 같이 답을 하네요.
세째 여동생이 제일 행복할 거라는 이유가 납득할만 하더라구요.
pdf 올린 것은 아래에 있는데 “Who is Remeo?”라고 물어봤어요.
그리고는 “Who loved Juliet?” 이라고 물어봤는데, Paris와 Romeo의 삼각관계를이야기하네요.
코드만 겨우 기본적으로 알 뿐, 디버깅을 잘 모르면서도 디버깅해 가면서 여기까지 온게 신기하네요. 이런게 가능하네요.
#10기로우코드 #Ollama #로컬LLM #Mistral #RAG #private