Ollama로 Private RAG 만들어 보기
2024.04.11

가지고 있는 자료를 조금 더 잘 활용하기 위해서 데스크탑에 Ollama를 이용하여 개인적인 RAG를 시험해 보기로 했습니다. 유튜브를 뒤져서 ollama 관련한 문서와 동영상을 몇 개 찾아 본 후 그중 code를 친절하게 가르쳐 주는 곳에서 얻은 coding으로 시도했는데 시행착오를 겪으면서 어찌어찌 결과를 얻었습니다.
Ollama #1: 비용 걱정 없이 내 컴퓨터에서 제약 없는 LLM 실행하기 | AI&GameDevhttps://youtu.be/4HfSfFvLn9Q?si=uTuj7EqjwTTth64_
coding을 파이썬을 기본적인 수준으로 알고는 있지만 debugging에는 자신이 없는데 코드 돌릴 때 마다 발생하는 bug를 챗GPT에 물어보면서 수정을 하다보니 결과가 나오더군요.
데스크탑에서 vscode로 작업을 했구요, 코드의 일부가 보입니다.

문서는 이게 아직 한글이 안되어서 한 번은 영어판 Little Mermade를 텍스트로 넣었구요, 한 번은 Romeo and Juliet 희곡의 영어 원본을 넣고 질문을 해 봤습니다. 먼저 Little Mermade인데 질문도 하드코딩으로 때려 넣었습니다. “Who is the happiest character in this story?”

코드를 돌렸더니 아래와 같이 답을 하네요.

세째 여동생이 제일 행복할 거라는 이유가 납득할만 하더라구요.
pdf 올린 것은 아래에 있는데 “Who is Remeo?”라고 물어봤어요.

그리고는 “Who loved Juliet?” 이라고 물어봤는데, Paris와 Romeo의 삼각관계를이야기하네요.

코드만 겨우 기본적으로 알 뿐, 디버깅을 잘 모르면서도 디버깅해 가면서 여기까지 온게 신기하네요. 이런게 가능하네요.
#10기로우코드 #Ollama #로컬LLM #Mistral #RAG #private
로그인하고 댓글을 남겨 주세요
ollama라는 또 새로운 개념을 덕분에 배워갑니다. 감사해요!
대규모 언어 모델을 로컬 머신에서 실행하는건,,, 생각보다 많은 노력을 필요로 하는 작업인데 지피티로 해결해가시는 과정이 흥미로워요. 앞으로도 멋진 프로젝트를 계속해서 진행해나가시길 기대하겠습니다~
ollama 항상 써봐야지 생각만하고 있었는데 이렇게 먼저 사용해본 사례 올려주셔서 감동입니다. 요즘은 GPT나 클로드가 디버깅을 너무 잘 해줘서 확실히 만들고자 하는 것만 확실하면 어느정도는 개발이 가능한 시대가 된 것 같습니다.


![[문과생도 AI] 4주 만에 AI로 서비스 개발하기(10기) 사례발표 썸네일](/_next/image?url=https%3A%2F%2Fcdn.gpters.org%2Fexternal%2F0f4d6639207d9af6a8fd7049.jpg&w=3840&q=75)

ollama라는 또 새로운 개념을 덕분에 배워갑니다. 감사해요!