최근 업데이트된 'langchain-hugginface' 를 활용하여 오픈되어 있는 HuggingFace Embedding 모델을 Inference API 방식과 Local 에서 임베딩 하는 튜토리얼을 추가/업데이트 하였습니다.
링크: https://wikidocs.net/233817
한국어 성능이 뛰어난 모델로 알려진 (multilingual-e5 계열, BGE-m3) 을 주로 다뤘습니다.
BGE-M3 에서 FlagEmbedding 이라는 패키지로 임베딩 할 수 있는데요. 내장 기능은 기존의 임베딩 외에도 추가 기능을 제공합니다.
Dense Vector (기존 임베딩)
lexical weights 를 활용한 Sparse Vector
ColBERT 스코어를 제공합니다.
자세한 내용은 최신 튜토리얼에서 확인하실 수 있습니다.