본문으로 건너뛰기
궁금해요

한국어에 적합한 embedding 함수를 추천해주세요

이범윤

2024.03.28

openai의 embedding함수들이 한국어 문서를 찾는 경우는 생각보다 성능이 좋지 않더군요.

동일한 데이터를 한국어와 영어로 작성하고 embedding 한 후 질문과 유사한 데이터를 찾는 경우 영어의 경우 적합한 데이터를 잘 찾는 반면 한국어는 잘 찾지 못합니다.

예를 들어

["사과", "바나나", "오이", "옥수수", "레몬", "시금치", "배추"]를 text-embedding-3-small로 embedding 한 후 과일로 cosine_similarity하면 

data	embedding	similarities
2	오이	[0.014422500506043434, 0.006744286976754665, -...	0.245654
3	옥수수	[0.009392851032316685, -0.017094384878873825, ...	0.218755
1	바나나	[0.0120021877810359, -0.013919435441493988, -0...	0.204618

["Apple", "Banana", "Cucumber", "Corn", "Lemon", "Spinach", "Cabbage"]를 같은 방법으로 embedding 한 후 "fruit" 하면

data	embedding	similarities
0	Apple	[0.00916969496756792, -0.035185299813747406, -...	0.470044
4	Lemon	[0.01624680683016777, -0.02477296069264412, -0...	0.445748
1	Banana	[0.021113915368914604, -0.043196991086006165, ...	0.428947

한국어 기반의 RAG에 적합한 embedding 함수를 추천해주세요

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

J
Junghun Lee2024.04.01

저는 주로 해당 모델을 많이 사용합니다.

https://huggingface.co/jhgan/ko-sroberta-multitask
huggingface에 다양한 임베딩 모델이 공개되어 있으니 용도나 데이터셋 도메인에 맞는 모델을 찾아보시는 것도 좋을 듯 합니다!

이
이범윤2024.03.29

감사합니다. 테스트 해보겠습니다.

GPTers 프로필 이미지
GPTers2024.03.29

embedding기능이 영어에 비해서 한국어 지원이 상대적으로 떨어질 수 있다고 하네요. 한국어 데이터에 특화된 embedding 모델 옵션은 아래와 같은 것들이 있다고 해요!

1) text-embedding-ada-002 또는 davinci
2) 한국어에 완전 최적화된 모델을 활용하는 것 예를 들어, Kakao의 Pororo, SKT의 KoBERT 등

GPTers 프로필 이미지
GPTers2024.03.29

embedding기능이 영어에 비해서 한국어 지원이 상대적으로 떨어질 수 있다고 하네요. 한국어 데이터에 특화된 embedding 모델 옵션은 아래와 같은 것들이 있다고 해요!

1) text-embedding-ada-002 또는 davinci
2) 한국어에 완전 최적화된 모델을 활용하는 것 예를 들어, Kakao의 Pororo, SKT의 KoBERT 등

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기