본문으로 건너뛰기
자유

매우 긴 문서의 번역을 LangChain에 요청하는 방법이 있을까요?

bgghma

2024.02.02

문서가 너무 길어서 분당 토큰 수를 초과하는 오류가 발생합니다.

그래서 현재 로직은 문서를 청크로 분리 한 후 doc[0] ~ doc[5] 까지 하드 코딩으로 프롬프팅을 해주고 있습니다.

그러니까 아래와 같은 방식으로 현재 프롬프팅 중입니다.

python 

chain.invoke(f”{doc[0]}을 영문으로 번역해줘”)

// AI answer : ~~~

chain.invoke(f”{doc[1]}을 영문으로 번역해줘”)

LangChain 프롬프트에서 긴 문서 번역을 요청할 떄 어떻게 하면 효율적으로 할 수 있을까요?

예시코드도 제시해주신다면 감사드리겠습니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

b
bgghma2024.02.04

@정인수 “그래서 현재 로직은 문서를 청크로 분리 한 후 doc[0] ~ doc[5] 까지 하드 코딩으로 프롬프팅을 해주고 있습니다.” 가text spliter를 사용한 것입니다. 이걸 다중 프롬프팅 하고 있는데, 어떻게 하면 효율적으로 프롬프팅 할 수 있는지가 질문의 의도였습니다

정
정인수2024.02.02

text splitter 를 이용하여 토큰제한 이슈를 우회할 수 있습니다

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기