본문으로 건너뛰기

[8기 랭체인] RAG 방식의 웹 기반 최신 맛집 찾기

김재현

2023.12.14

[8기 랭체인] RAG 방식의 웹 기반 최신 맛집 찾기 본문 이미지

안녕하세요 미남홀란드입니다.

이번주도 역시 재밌는걸 조금 찾다보니깐 이런걸 하게 되었네요. GPT Plugin에서 Webpilot을 다들 많이 쓰실텐데요. 이게 그 기반인가 생각햅 볼 수 있는 예제 였습니다.

Google 검색엔진 기반으로 우선 좋은 GoogleSearchAPIWrapper

from langchain.utilities import GoogleSearchAPIWrapper

요런 좋은 재료가 있더라구요. 그래서 처음엔 API key , 검색엔진 id 를 받아와서 이거재밌겠다 하고 연구를 해보기 시작했습니다.


호기로운 첫시도

링크를 뽑아서 그 링크를 다시 추출해서 LLM 한테 던진 후에 맛집을 추천해달라해보자!

  • meta data 를 활용해서 5개의 쿼리를 뽑아서 Link 만 받아내기

 search = GoogleSearchAPIWrapper()


def top5_results(query):
    return search.results(query, 5)


tool = Tool(
    name="Google Search Snippets",
    description="Search Google for recent results.",
    func=top5_results,
)

위 코드를 실행하면

  • Snippet: The description of the result.

  • Title: The title of the result.

  • Link: The link to the result.

위와 같은 형태로 Json 데이터가 추출이 됩니다. item 을 뽑은후 urls 란 변수에 넣어주고

from langchain.document_loaders import AsyncHtmlLoader
# HTML to Text
urls = ["https://www.espn.com", "https://lilianweng.github.io/posts/2023-06-23-agent/"]
loader = AsyncHtmlLoader(urls)
docs = loader.load()

html to text 를 알아서 잘 뽑아주는 재료가 있길래 요걸 활용해보자 했습니다.

여기까지 받은 후 사실 page_content 를 활용해서 LLM 에 던지는 작업을 해주면 되었습니다. 근데 항상헷갈리는게 이러면 토큰의 갯수가 너무많아서 항상 에러가 발생하는 경우가 생깁니다. 그래서 Vector DB에 담아야 하는구나 느꼈습니다.

아직 cookbook 만 따라해보는 정도라 자유자재로 랭체인을 다루지못해서 파라미터 속에 이걸 그대로 넣으면 얼마나 좋을까? 했지만 try 는 에러 범벅이었습니다.

위 방법으로 하면 코드가 조금 길어져서 ‘에잇 하고 때려치웠습니다’'


두번째시도

우연치 않게 RetrievalQAwithSourcesChain 이란게 있었고 Fetching page 하는 것까지 제 첫시도와 닮아있었습니다. 두번째시도는 단 코드 몇줄로 성공이었습니다.

#벡터 디비 선언 및 엠베딩
vectorstore = Chroma(embedding_function=OpenAIEmbeddings(api_key=api_key),
                     persist_directory="./chroma_db_oai")
# llm 선언
search_llm = ChatOpenAI(temperature=0,api_key=api_key, model_name="gpt-4-1106-preview")

search = GoogleSearchAPIWrapper()

web_research_retriever = WebResearchRetriever.from_llm(
    vectorstore=vectorstore,
    llm=search_llm, 
    search=search
)

response_llm = ChatOpenAI(model_name="gpt-4-1106-preview",temperature=0,api_key=api_key,)
qa_chain = RetrievalQAWithSourcesChain.from_chain_type(response_llm,
                                                       retriever=web_research_retriever)


웹 리서치 리트리버를 만들어주고 체이닝 하면 끝이었습니다.. 현타가 살짝 오면서도 이래서 랭체인을 쓰는구나 싶더라구요

user_input = "수내동 한식 맛집 추천해줘"
result = qa_chain({"question": user_input})
result


지금이야 GPT가 많이 업그레이드가 되어서 내말을 찰떡같이 알아들어서 bing 기반의 검색을 리트리버로 가져오지만 예전엔 자기가 알고있는 정보를 토대로 알려주었는데요. 확실히 웹 서치후 리트리버를 하니깐 최신이라던지 내가 설정한 값에 따라 리트리버를 해서 생성을 해주는 결과물을 보여주었습니다.

기존 지피티결과

랭체인결과


실제로 블로그 기반이다보니 제가 가끔 가는 양지식당의 정보가 떠서 반가웠습니다. GPT-4 에는 양지식당이 학습이 안되어있는거 같더라구요. 하지만 블로그도 최신 기준으로 fetch 가 되게끔 해야된다고 생각한게 양지식당이 8천원으로 가격이 인상되었는데 이전 블로그 게시물이라 7천원으로 나오는거보면 정보 중심이기 때문에 확실히 또다른 전처리, 검증이 필요하다고 생각되었습니다.

Prompt 를 조금 더 추가해서 정제되게끔 값을 뽑아온다면 application 에서 충분히 활용가능성이 있지 않을까 싶었습니다.

8

함께 이야기해요 8

로그인하고 댓글을 남겨 주세요

개발자F 프로필 이미지
개발자F2023.12.14
오 이거 스트리밋으로 프론트까지 만들어서 보여주시면 너무너무 멋진 사례가 될것같은데요? 많은 분들이 공감하고 재밌어하실 사례라 생각합니다.
GoogleSearchAPIWrapper도 유료인걸로 아는데 비용은 어느정도 발생하시던가요?
정정민 프로필 이미지
정정민2023.12.14
재밌네요. 웹 데이터를 가지고 뭔갈 해볼생각을 자주 했었는데 좋은 사례 공유 감사합니다. 
질문이 있습니다. 
1. 아래 코드 기능이 뭔가요?? 
tool = Tool(
    name="Google Search Snippets",
    description="Search Google for recent results.",
    func=top5_results,
)
2. 아래 코드를 보면 내부적으로 두개의 llm이 존재하는데, 각각의 역할이 어떻게 다른가요? 
qa_chain = RetrievalQAWithSourcesChain.from_chain_type(response_llm, retriever=web_research_retriever)
자문자추측(?)해보면.. retriever 내부의 것은 query를 기반으로 웹 검색 및 페이지 내용 추출, response는 retrieve 결과 중 실제 query의 답을 생성...인가요?? 
김재현 프로필 이미지
김재현2023.12.14
 1. langchain 에서 tool 재료로 쓸때 선언하는 코드더라구요 기능 적으로는 사용자 커스텀에 따라 만드는거 같았고, docs 보시면 이해 쉬울거같아요
2. 하나는 리트리버용, 하나는 사용자질의에 대한 추론하기 위한 llm 둘이 체이닝 해서 쓰는거 같더라구요
김재현 프로필 이미지
김재현2023.12.14
googleserchapiwrapper 비용에대해 서는 고려안해봤는데 제가 한수준은 크게? 안드는거같습니다 gpt-3.5 turbo 수준아닐까 생각합니다
김재현 프로필 이미지
김재현2023.12.14
naver.. 버전도 한번 시도해보겠습니다
김욱영 프로필 이미지
김욱영2023.12.15
개발 관련한 글 중에 가장 이해가 잘 되게 잘 쓰시는 듯 합니다. 전반적인 구조가 직관적으로 느껴져서, 이해가 용이했습니다. 감사합니다 🙂
DECK 프로필 이미지
DECK2023.12.15
질문을 바꿔서 시도해도 이전 데이터를 불러와서 답변을 하려고 해서 답변이 안나오네요. 혹시 같은 증상이 있으셨나요?
DECK 프로필 이미지
DECK2023.12.15
 네 GPT를 10번정도 갈구니 해답을 내놓았습니다. ㅋㅋㅋㅋ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기