본문으로 건너뛰기

노션 데이터로 나만의 RAG 시스템 구축하기!

박정기

2024.07.30

노션 데이터로 나만의 RAG 시스템 구축하기! 본문 이미지

과제 소개

  • LLAMA INDEX와 노션 API를 활용해서 노션 DATA를 바탕으로 RAG 시스템 구축을 해본다.

  • 지난 "지피터스 11기의 모든것" 데이터를 바탕으로 RAG 시스템을 구축해본다.

목적

  • 노션 API를 활용하여 노션 데이터를 로딩을 해본다.

  • FAQ, 사용자들이 질문할법한 데이터를 넣어서 효과가 있을지 확인

  • RAG 답변의 퀄리티 확인

  • 추후 AI 스터디에서 필요한 RAG 구축에 활용하기 위함

방법론

  • LLAMA INDEX, NOTION API, OPENAI API를 활용

  • 빠른 POC를 위해 COLAB에서 진행

먼저 NOTION API부터 세팅을 진행합니다.

https://hirlawldo.tistory.com/192
-> 이 사이트를 참고해서 세팅 진행함


https://www.notion.so/profile/integrations


노션 시크릿 키를 발급 받습니다!

개인 노션에 원하는 페이지를 만들고, 그 페이지의 번호를 확인합니다.

https://www.notion.so/AI-11-0acec37d48b34b20b5075b730203c5ed

-> 이런 사이트 주소가 있다면

0acec37d48b34b20b5075b730203c5ed -> 이게 페이지 id 번호를 뜻합니다.

노션 페이지에 가서 연결항목에 내가 만든 GPTERS API를 선택해서 넣어줍니다. -> 중요

맥 OS X

%pip install llama-index-readers-notion

import logging
import sys
logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

If you're opening this Notebook on colab, you will probably need to install LlamaIndex 🦙.

!pip install llama-index

from llama_index.core import SummaryIndex
from llama_index.readers.notion import NotionPageReader
from IPython.display import Markdown, display
import os

integration_token = "노션 시크릿 키 넣기"

page_ids = ["페이지 id 번호 넣기"]

documents = NotionPageReader(integration_token=integration_token).load_data(

    page_ids=page_ids

)

index = SummaryIndex.from_documents(documents)

print(index)

print(documents[0].text)

로딩된 노션 데이터

한국어 화면의 스크린샷

os.environ['OPENAI_API_KEY'] = 'OPENAI 키 넣기'
# set Logging to DEBUG for more detailed outputs

query_engine = index.as_query_engine()

response = query_engine.query("6/22 토요모임 발표 순서가 어떻게 돼? 한국어로 알려줘")

display(Markdown(f"<b>{response}</b>"))

response = query_engine.query("캠프 별 해시태그가 뭐가 있는지 한국어로 알려줘")

display(Markdown(f"<b>{response}</b>"))

response = query_engine.query("게시판에 글을 작성하는 법을 한국어로 알려줘")

display(Markdown(f"<b>{response}</b>"))

response = query_engine.query("월요특강 6/10(월) VOD링크와 자료를 한국어로 알려줘")

display(Markdown(f"<b>{response}</b>"))

-> 한국어로 알려줘 라고 안하면 default가 영어라, 꼭 넣어줘야함

출력 화면

한국어 코딩 언어의 스크린샷
컴퓨터 화면에 한국어 스크린샷

한국어 화면의 스크린샷

브라우저의 CSS 파일 스크린샷

결론

  • 몇줄 안되는 코드로 LLAMA INDEX를 활용하여 RAG 구축에 성공

  • 노션 글이 수정되자마자 다음 코드를 실행시키면 즉각 바뀐 노션 데이터 로드 가능!

documents = NotionPageReader(integration_token=integration_token).load_data(

    page_ids=page_ids

)
  • 빠르게 라마 인덱스로 RAG POC 확인

추가로 수정해야하는 점

  • RAG 프롬프트 원하는 걸로 설정하기 (한국어 출력 설정하기)

  • 노션 데이터를 RAG에 맡게 데이터 전처리 및 parsing (추후 LLAMA PARSE 사용해볼 예정)

  • 모르는 데이터는 모른다고 답변 or 지피터스에 따로 질문해달라고 요청하도록 프롬프트 수정

REF
https://colab.research.google.com/github/run-llama/llama_index/blob/main/docs/docs/examples/data_connectors/NotionDemo.ipynb

https://docs.llamaindex.ai/en/stable/examples/data_connectors/NotionDemo/?h=notion

https://developers.notion.com/docs/authorization

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

ggokka 프로필 이미지
ggokka2024.08.12

노션의 워크스페이스 전체 문서를 한꺼번에 읽어 오려면 어떻게 할까요?

클로드에 의하면 이렇다고 합니다
https://claude.site/artifacts/a2985003-765b-4774-94c6-729374dfed91

그런데, 쿼리 결과는 의도한 대로 나오질 않네요. 왜 그런지는 모르겠어요.

박정기 프로필 이미지
박정기2024.08.26

이런건 노션 DOC를 직접 읽어보셔야 하는데, 제가 알기론 하나의 페이지로 접근이 가능해서 워크스페이스에 있는 내용을 하나의 페이지로 옮겨야 한다고 봤습니다

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기