본문으로 건너뛰기

[8기 랭체인] 대화형 텍스트로 챗봇

왕철현

2023.11.30


대화형 텍스트 자료를 이용한 챗봇 소스 공유합니다.

import tool

import os

import platform

import openai

import chromadb

import langchain

import tiktoken

from langchain.embeddings.openai import OpenAIEmbeddings

from langchain.vectorstores import Chroma

from langchain.text_splitter import RecursiveCharacterTextSplitter

from langchain.chat_models import ChatOpenAI

from langchain.chains import ChatVectorDBChain

from langchain.document_loaders import GutenbergLoader

from langchain.document_loaders import DirectoryLoader, TextLoader

os.environ["OPENAI_API_KEY"] = tool.key()

loader = TextLoader('./chatbot.txt', encoding='utf-8')

data =loader.load()

print(f'{len(data)}개의 문서')

print(f'문서에 {len(data[0].page_content)}개의 단어를 가지고 있음')

encoding = tiktoken.get_encoding('cl100k_base')

num_tokens = len(encoding.encode(data[0].page_content))

print(num_tokens)

text_splitter = RecursiveCharacterTextSplitter(chunk_size=2048, chunk_overlap=0)

docs = text_splitter.split_documents(data)

print(f'{len(docs)}개의 문서 존재')

persist_directory = "./vectordb"

embeddings = OpenAIEmbeddings()

vectordb = Chroma.from_documents(docs, embeddings, persist_directory=persist_directory)

vectordb.persist()

model = ChatOpenAI(model_name='gpt-4-1106-preview', temperature=0, max_tokens=500) # gpt-3.5-turbo

chain = ChatVectorDBChain.from_llm(model, vectordb, return_source_documents=True)

question = "안녕하세요."

result = chain({'question': question, 'chat_history':[]})

print(result['answer'])

question = "드라이브할 곳 추천좀 해줘"

result = chain({'question': question, 'chat_history':[]})

print(result['answer'])

question = "강화도 생각중야"

result = chain({'question': question, 'chat_history':[]})

print(result['answer'])

question = "강화도가 좋아."

result = chain({'question': question, 'chat_history':[]})

print(result['answer'])

question = "갈릴리 카페 메뉴좀 알 수 있어?"

result = chain({'question': question, 'chat_history':[]})

print(result['answer'])

question = "갈릴리 홈페이지 주소 알려줄래?"

result = chain({'question': question, 'chat_history':[]})

print(result['answer'])

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2024.04.08

공유해주셔서 감사해요 🙂

김영훈(리얼리) 프로필 이미지

colab에서 import tool
하는데 에러가 납니다.
너무 어렵네요, colab에서 하는법 알려주시면 안될까요?
local 컴퓨터가 환경구축이 어렵다 보니
웹에서 돌리고싶습니다.
에러메세지
ERROR: Could not find a version that satisfies the requirement context_locals (from versions: none) ERROR: No matching distribution found for context_locals

박정기 프로필 이미지
박정기2023.12.03
코드가 그렇게 어렵지는 않네요?

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기