한국어에 적합한 embedding 함수를 추천해주세요
2024.03.28
openai의 embedding함수들이 한국어 문서를 찾는 경우는 생각보다 성능이 좋지 않더군요.
동일한 데이터를 한국어와 영어로 작성하고 embedding 한 후 질문과 유사한 데이터를 찾는 경우 영어의 경우 적합한 데이터를 잘 찾는 반면 한국어는 잘 찾지 못합니다.
예를 들어
["사과", "바나나", "오이", "옥수수", "레몬", "시금치", "배추"]를 text-embedding-3-small로 embedding 한 후 과일로 cosine_similarity하면
data embedding similarities
2 오이 [0.014422500506043434, 0.006744286976754665, -... 0.245654
3 옥수수 [0.009392851032316685, -0.017094384878873825, ... 0.218755
1 바나나 [0.0120021877810359, -0.013919435441493988, -0... 0.204618
["Apple", "Banana", "Cucumber", "Corn", "Lemon", "Spinach", "Cabbage"]를 같은 방법으로 embedding 한 후 "fruit" 하면
data embedding similarities
0 Apple [0.00916969496756792, -0.035185299813747406, -... 0.470044
4 Lemon [0.01624680683016777, -0.02477296069264412, -0... 0.445748
1 Banana [0.021113915368914604, -0.043196991086006165, ... 0.428947
한국어 기반의 RAG에 적합한 embedding 함수를 추천해주세요
로그인하고 댓글을 남겨 주세요
감사합니다. 테스트 해보겠습니다.
embedding기능이 영어에 비해서 한국어 지원이 상대적으로 떨어질 수 있다고 하네요. 한국어 데이터에 특화된 embedding 모델 옵션은 아래와 같은 것들이 있다고 해요!
1) text-embedding-ada-002 또는 davinci
2) 한국어에 완전 최적화된 모델을 활용하는 것 예를 들어, Kakao의 Pororo, SKT의 KoBERT 등
embedding기능이 영어에 비해서 한국어 지원이 상대적으로 떨어질 수 있다고 하네요. 한국어 데이터에 특화된 embedding 모델 옵션은 아래와 같은 것들이 있다고 해요!
1) text-embedding-ada-002 또는 davinci
2) 한국어에 완전 최적화된 모델을 활용하는 것 예를 들어, Kakao의 Pororo, SKT의 KoBERT 등

저는 주로 해당 모델을 많이 사용합니다.
https://huggingface.co/jhgan/ko-sroberta-multitask
huggingface에 다양한 임베딩 모델이 공개되어 있으니 용도나 데이터셋 도메인에 맞는 모델을 찾아보시는 것도 좋을 듯 합니다!