RAG(llamaindex langchain) lib chunking 질문

안녕하세요. 현재 llamaindex와 langchain을 활용해서 llm을 다양하게 테스트해보고 있습니다.


다름이 아니라 각 lib에서 지원해주는 chunking의 형태가 굉장히 다양하더라고요.

recursive, child-parent, auto retriever 등..


입력 데이터 형태가 다 다르다 보니 관련해서 어느 것이 좋다 라고 할 수 없을 것 같은데 데이터 형태에 따른 chunking 전략이나 chunk들을 어떤 식으로 search하면 좋은지에 관한 글이 있을까요?

1
4개의 답글

👀 답변을 기다리고 있어요!

🙌 새로운 멤버들을 맞아주세요!