HuggingFace Embedding 모델 활용(LangChain)

최근 업데이트된 'langchain-hugginface' 를 활용하여 오픈되어 있는 HuggingFace Embedding 모델을 Inference API 방식과 Local 에서 임베딩 하는 튜토리얼을 추가/업데이트 하였습니다.
링크: https://wikidocs.net/233817

한국어 성능이 뛰어난 모델로 알려진 (multilingual-e5 계열, BGE-m3) 을 주로 다뤘습니다.

  • BGE-M3 에서 FlagEmbedding 이라는 패키지로 임베딩 할 수 있는데요. 내장 기능은 기존의 임베딩 외에도 추가 기능을 제공합니다.

  • Dense Vector (기존 임베딩)

  • lexical weights 를 활용한 Sparse Vector

  • ColBERT 스코어를 제공합니다.

자세한 내용은 최신 튜토리얼에서 확인하실 수 있습니다.

5
1개의 답글

👉 이 게시글도 읽어보세요