๋ณธ๋ฌธ์œผ๋กœ ๊ฑด๋„ˆ๋›ฐ๊ธฐ

Reranker? Retriever?

ํ…Œ๋””

2024.08.01

๐Ÿ”ฅReranker ์—…๋ฐ์ดํŠธ๐Ÿ”ฅ
- Cross Encoder Reranker
- Cohere Reranker
- Jina Reranker
- FlashRank Reranker

๋งํฌ: https://wikidocs.net/253434

๐ŸŒฑ Reranker ๋ž€
Reranker ๋Š” ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ(query)๊ณผ ๋ฌธ์„œ(context)๊ฐ„ ์œ ์‚ฌ๋„๋ฅผ ์ธก์ •ํ•˜๋Š” ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค.
์ด๊ฑด ๋งˆ์น˜ "retriever" ๊ฐ€ ํ•˜๋Š” ์—ญํ• ๊ณผ ๋น„์Šทํ•˜๋‹ค๊ณ  ๋А๋ผ์‹คํ…๋ฐ์š”.

reranker๋Š” retriever ์™€ ๋‹ค๋ฅธ ์ ์€
1. ์šฐ์„ , retriever ๋Š” ๋ฌธ์„œ ์กฐ๊ฐ(chunk) ์— ๋Œ€ํ•œ "๋…๋ฆฝ์ ์ธ" ์ž„๋ฒ ๋”ฉ์„ ์ˆ˜ํ–‰ ํ›„, ์ดํ›„ ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ(query) ์—ญ์‹œ "๋…๋ฆฝ์ ์ธ" ์ž„๋ฒ ๋”ฉ๊ณผ ๋น„๊ตํ•˜์—ฌ ์œ ์‚ฌ๋„ ๊ธฐ์ค€์„ ๋น„๊ตํ•˜๋Š” ๋ฐ˜๋ฉด

2. reranker ๋Š” ์งˆ๋ฌธ(query) ๊ณผ ๋ฌธ์„œ(context) ๋ฅผ "๋™์‹œ์—" ์ž…๋ ฅ์œผ๋กœ ๋„ฃ์–ด ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•œ๋‹ค๋Š” ์ ์ด ์ฐจ์ด์  ์ž…๋‹ˆ๋‹ค.
์—ฌ๊ธฐ์„œ reranker ๋Š” ์งˆ๋ฌธ-๋ฌธ์„œ ์Œ์œผ๋กœ ์ž…๋ ฅ์œผ๋กœ ๋„ฃ์–ด ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•˜๊ธฐ ๋•Œ๋ฌธ์— retriever ๋Œ€๋น„ ๋” ๋†’์€ ์œ ์‚ฌ๋„ ์‹ ๋ขฐ์„ฑ์„ ๊ฐ€์ง„๋‹ค๊ณ  ์•Œ๋ ค์ ธ ์žˆ๋Š”๋ฐ์š”.

๊ทธ๋Ÿผ ์™œ retriever ๋ฐฉ์‹์„ ์‚ฌ์šฉํ•˜๋‚˜? reranker ๊ฐ€ retriever ๋ฅผ ๋Œ€์ฒดํ•  ์ˆ˜ ์žˆ๋Š”๋ฐ? ๋ผ๊ณ  ์ƒ๊ฐํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ทธ๋Ÿฌ๋‚˜, ์•„์‰ฝ๊ฒŒ๋„ reranker ๋Š” retriever ๋Œ€๋น„ ๊ณ„์‚ฐ ์†๋„๊ฐ€ ๋А๋ฆฌ๊ณ , ๋น„์šฉ์ด ๋†’์Šต๋‹ˆ๋‹ค. ๊ทธ๊ฒƒ๋„ ์—„์ฒญ ๋งŽ์ด์š”(๋ฌธ์„œ ์–‘์— ๋”ฐ๋ผ...)

๊ทธ๋ž˜์„œ ๋Œ€์„ธ๋กœ ์ž๋ฆฌ์žก์€ ๊ฒƒ์ด ๋ฐ”๋กœ "Two-stage retrieval pipeline" ์ž…๋‹ˆ๋‹ค. ํ˜„๋Œ€์˜ RAG ์‹œ์Šคํ…œ์—์„œ์˜ ์ •์„์ด๋ผ๊ณ  ๋ณผ ์ˆ˜ ์žˆ์ฃ .

<before>
[์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ(query) -> ๊ฒ€์ƒ‰(Retrieve) -> ๋ฌธ๋งฅ(context)]
<after>
[์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ(query) -> ๊ฒ€์ƒ‰(Retrieve) -> ๋ฆฌ๋žญํฌ(Reranker) -> ๋ฌธ๋งฅ(context)]

reranker ๋กœ ๋ชจ๋“  ๋ฌธ์„œ๋ฅผ ๋‹ค ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ์„ ํ•˜๋Š”๋ฐ ๋„ˆ๋ฌด ์˜ค๋ž˜๊ฑธ๋ฆฌ๊ณ  ๋น„์šฉ๋„ ๋น„์‹ธ๋‹ˆ "retriever" ๋กœ ๋จผ์ € ํ›„๋ณด๋ฅผ ์ถ”๋ฆฌ๊ณ  -> reranker ๋กœ ํ•œ ๋ฒˆ๋” ์ •ํ™•ํ•œ ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ์„ ํ•˜์—ฌ ๋ณด๋‹ค ์ •ํ™•ํ•œ ์งˆ๋ฌธ-๋ฌธ์„œ ๊ฐ„ ์œ ์‚ฌ๋„๋ฅผ ๊ตฌํ•ด ์ตœ์ข… ํ›„๋ณด๋ฅผ ์ถ”๋ ค๋‚ด๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค!

๊ฐœ๋…์„ ๋Œ€์ถฉ ์ดํ•ดํ•˜์…จ๋‹ค๋ฉด, ์ด์ œ ์ ์šฉํ•˜๋Ÿฌ ๊ฐ€๋ณด์‹œ์ฃ !
๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.


#reranker #rag #retriever

1

ํ•จ๊ป˜ ์ด์•ผ๊ธฐํ•ด์š” 1

๋กœ๊ทธ์ธํ•˜๊ณ  ๋Œ“๊ธ€์„ ๋‚จ๊ฒจ ์ฃผ์„ธ์š”

์ด๋ฅธ์•„์นจ์— ํ”„๋กœํ•„ ์ด๋ฏธ์ง€

์•ˆ๋…•ํ•˜์„ธ์š”. ๋Š˜ ์ข‹์€ ์ •๋ณด์™€ ๊ฐ€๋ฅด์นจ์— ๊ฐ์‚ฌ ๋“œ๋ฆฝ๋‹ˆ๋‹ค~^^
์œ„ ๋‚ด์šฉ ์ค‘.
reranker์—์„œ "์งˆ๋ฌธ"๊ณผ "๋ฌธ์„œ"๋ฅผ ์Œ์œผ๋กœ ์ž…๋ ฅ์œผ๋กœ ๋„ฃ์–ด์„œ ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•˜๋‹ค๋Š” ๊ฒƒ์ด ์–ด๋–ค ์˜๋ฏธ์ธ์ง€ ๋ชจ๋ฅด๊ฒ ์–ด์„œ.. Chatgpt์—๊ฒŒ ๋ฌผ์–ด ๋ณด๋‹ˆ, ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๋‹ต์„ ์ฃผ์—ˆ๋Š”๋ฐ์š”. ์ด๋ ‡๊ฒŒ ์ดํ•ด๋ฅผ ํ•˜๋ฉด ๋ ๊นŒ์š” ?
---

[ChatGPT ๋‹ต๋ณ€ ๋‚ด์šฉ]

๋ฆฌ๋žญ์ปค์—์„œ "์งˆ๋ฌธ"๊ณผ "๋ฌธ์„œ"๋ฅผ ์Œ์œผ๋กœ ๋ฌถ์–ด์„œ ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•œ๋‹ค๋Š” ์˜๋ฏธ๋ฅผ ์‰ฝ๊ฒŒ ์„ค๋ช…ํ•ด ๋“œ๋ฆด๊ฒŒ์š”.

### ๐ŸŒฑ ๋ฆฌ๋žญ์ปค์˜ ๋™์ž‘ ์›๋ฆฌ ์‰ฝ๊ฒŒ ์ดํ•ดํ•˜๊ธฐ

๋ฆฌ๋žญ์ปค๊ฐ€ ์–ด๋–ป๊ฒŒ "์งˆ๋ฌธ"๊ณผ "๋ฌธ์„œ"๋ฅผ ์Œ์œผ๋กœ ๋ฌถ์–ด ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•˜๋Š”์ง€ ๋‹จ๊ณ„๋ณ„๋กœ ์„ค๋ช…ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

### 1. ์งˆ๋ฌธ๊ณผ ๋ฌธ์„œ์˜ ๊ฒฐํ•ฉ

- ์งˆ๋ฌธ: ์‚ฌ์šฉ์ž๊ฐ€ ๊ฒ€์ƒ‰ํ•˜๋ ค๊ณ  ์ž…๋ ฅํ•œ ์งˆ๋ฌธ์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, "2024๋…„ ์˜ฌ๋ฆผํ”ฝ ๊ฐœ์ตœ์ง€๋Š” ์–ด๋””์ธ๊ฐ€์š”?"๋ผ๋Š” ์งˆ๋ฌธ์„ ์ƒ๊ฐํ•ด๋ด…์‹œ๋‹ค.

- ๋ฌธ์„œ: ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ์ด ์ฐพ์•„๋‚ธ ์—ฌ๋Ÿฌ ๋ฌธ์„œ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, "2024๋…„ ์˜ฌ๋ฆผํ”ฝ์€ ํŒŒ๋ฆฌ์—์„œ ๊ฐœ์ตœ๋ฉ๋‹ˆ๋‹ค."๋ผ๋Š” ๋ฌธ์„œ๋ฅผ ์˜ˆ๋กœ ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

### 2. ์Œ์œผ๋กœ ๋ฌถ๊ธฐ

๋ฆฌ๋žญ์ปค๋Š” "์งˆ๋ฌธ"๊ณผ "๋ฌธ์„œ"๋ฅผ ์Œ์œผ๋กœ ๋ฌถ์–ด ํ•˜๋‚˜์˜ ์ž…๋ ฅ์œผ๋กœ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ์ด ๊ณผ์ •์€ ์งˆ๋ฌธ๊ณผ ๋ฌธ์„œ๋ฅผ ์ด์–ด ๋ถ™์ด๋Š” ๋ฐฉ์‹์œผ๋กœ ์ด๋ฃจ์–ด์ง‘๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด:

```

[CLS] 2024๋…„ ์˜ฌ๋ฆผํ”ฝ ๊ฐœ์ตœ์ง€๋Š” ์–ด๋””์ธ๊ฐ€์š”? [SEP] 2024๋…„ ์˜ฌ๋ฆผํ”ฝ์€ ํŒŒ๋ฆฌ์—์„œ ๊ฐœ์ตœ๋ฉ๋‹ˆ๋‹ค. [SEP]

```

์œ„์™€ ๊ฐ™์€ ํ˜•์‹์œผ๋กœ ์งˆ๋ฌธ๊ณผ ๋ฌธ์„œ๋ฅผ ๊ฒฐํ•ฉํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ [CLS]์™€ [SEP]๋Š” ํŠน๋ณ„ํ•œ ํ† ํฐ์ž…๋‹ˆ๋‹ค:

- [CLS]: ๋ฌธ์„œ์˜ ์‹œ์ž‘์„ ํ‘œ์‹œํ•˜๋Š” ํ† ํฐ

- [SEP]: ์งˆ๋ฌธ๊ณผ ๋ฌธ์„œ์˜ ๊ฒฝ๊ณ„๋ฅผ ํ‘œ์‹œํ•˜๋Š” ํ† ํฐ

### 3. ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์— ์ž…๋ ฅ

๋ฆฌ๋žญ์ปค๋Š” ๊ฒฐํ•ฉ๋œ ์งˆ๋ฌธ-๋ฌธ์„œ ์Œ์„ ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ(BERT๋‚˜ RoBERTa ๊ฐ™์€ ๋ชจ๋ธ)์— ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ์—์„œ ๋งค์šฐ ๊ฐ•๋ ฅํ•œ ์„ฑ๋Šฅ์„ ๋ฐœํœ˜ํ•˜๋Š” ๋ชจ๋ธ๋กœ, ๋ฌธ๋งฅ๊ณผ ์˜๋ฏธ๋ฅผ ์ž˜ ํŒŒ์•…ํ•ฉ๋‹ˆ๋‹ค.

### 4. ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ

ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์€ ์งˆ๋ฌธ๊ณผ ๋ฌธ์„œ๊ฐ€ ์–ผ๋งˆ๋‚˜ ๊ด€๋ จ์ด ์žˆ๋Š”์ง€ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. ์ฆ‰, ๋‘ ํ…์ŠคํŠธ๊ฐ€ ์˜๋ฏธ์ ์œผ๋กœ ์–ผ๋งˆ๋‚˜ ์œ ์‚ฌํ•œ์ง€๋ฅผ ๊ณ„์‚ฐํ•ฉ๋‹ˆ๋‹ค. ์ด ๊ณผ์ •์„ ํ†ตํ•ด ๋ฆฌ๋žญ์ปค๋Š” ๋‹ค์Œ์„ ๊ฒฐ์ •ํ•ฉ๋‹ˆ๋‹ค:

- ์ด ๋ฌธ์„œ๊ฐ€ ์งˆ๋ฌธ์— ์–ผ๋งˆ๋‚˜ ์ž˜ ๋‹ต๋ณ€ํ•˜๋Š”์ง€

- ๋ฌธ์„œ๊ฐ€ ์งˆ๋ฌธ๊ณผ ์–ผ๋งˆ๋‚˜ ๊ด€๋ จ์„ฑ์ด ์žˆ๋Š”์ง€

### 5. ๊ฒฐ๊ณผ ์ถœ๋ ฅ

๋ชจ๋ธ์ด ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ๋ฌธ์„œ์˜ ์ˆœ์œ„๋ฅผ ๋งค๊น๋‹ˆ๋‹ค. ๋ฆฌ๋žญ์ปค๋Š” ๋ชจ๋“  ์งˆ๋ฌธ-๋ฌธ์„œ ์Œ์— ๋Œ€ํ•ด ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•˜์—ฌ ๊ฐ€์žฅ ๊ด€๋ จ์„ฑ ๋†’์€ ๋ฌธ์„œ๋ถ€ํ„ฐ ์ˆœ์„œ๋Œ€๋กœ ์ •๋ ฌํ•ฉ๋‹ˆ๋‹ค.

### ์˜ˆ์‹œ

์˜ˆ๋ฅผ ๋“ค์–ด, ์‚ฌ์šฉ์ž๊ฐ€ "2024๋…„ ์˜ฌ๋ฆผํ”ฝ ๊ฐœ์ตœ์ง€๋Š” ์–ด๋””์ธ๊ฐ€์š”?"๋ผ๊ณ  ์งˆ๋ฌธํ–ˆ์„ ๋•Œ, ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋Š” ์—ฌ๋Ÿฌ ๋ฌธ์„œ๋ฅผ ๋น ๋ฅด๊ฒŒ ๊ฒ€์ƒ‰ํ•˜์—ฌ ํ›„๋ณด๋กœ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ด ํ›„๋ณด ๋ฌธ์„œ ์ค‘์—์„œ:

1. "2024๋…„ ์˜ฌ๋ฆผํ”ฝ์€ ํŒŒ๋ฆฌ์—์„œ ๊ฐœ์ตœ๋ฉ๋‹ˆ๋‹ค."

2. "2024๋…„์—๋Š” ์—ฌ๋Ÿฌ ๊ตญ์ œ ํ–‰์‚ฌ๊ฐ€ ์˜ˆ์ •๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค."

3. "์˜ฌ๋ฆผํ”ฝ์€ ์ „ ์„ธ๊ณ„์ธ์ด ์ฆ๊ธฐ๋Š” ์Šคํฌ์ธ  ์ถ•์ œ์ž…๋‹ˆ๋‹ค."

๋ฆฌ๋žญ์ปค๋Š” ๊ฐ ๋ฌธ์„œ๋ฅผ ์งˆ๋ฌธ๊ณผ ์Œ์œผ๋กœ ๋ฌถ์–ด ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•ฉ๋‹ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ:

1. ์ฒซ ๋ฒˆ์งธ ๋ฌธ์„œ๊ฐ€ ์งˆ๋ฌธ๊ณผ ๊ฐ€์žฅ ๊ด€๋ จ์ด ๋†’์•„ 1์ˆœ์œ„

2. ๋‘ ๋ฒˆ์งธ ๋ฌธ์„œ๊ฐ€ ๋‘ ๋ฒˆ์งธ๋กœ ๊ด€๋ จ์„ฑ์ด ๋†’์•„ 2์ˆœ์œ„

3. ์„ธ ๋ฒˆ์งธ ๋ฌธ์„œ๋Š” ๊ด€๋ จ์„ฑ์ด ๋‚ฎ์•„ 3์ˆœ์œ„

์ด๋ ‡๊ฒŒ ๋ฆฌ๋žญ์ปค๋Š” ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ์„ฑ ๋†’์€ ๋ฌธ์„œ๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ์ฐพ์•„๋‚ด์–ด ์ˆœ์œ„๋ฅผ ๋งค๊น๋‹ˆ๋‹ค.

์ด์ œ ์งˆ๋ฌธ๊ณผ ๋ฌธ์„œ๋ฅผ ์Œ์œผ๋กœ ๋ฌถ์–ด ์œ ์‚ฌ๋„๋ฅผ ๊ณ„์‚ฐํ•˜๋Š” ๊ณผ์ •์ด ์ดํ•ด๋˜์…จ๊ธธ ๋ฐ”๋ž๋‹ˆ๋‹ค.

ํ•„์š”ํ•œ AI ์ •๋ณด๋งŒ
๋ฉ”์ผํ•จ์— ์™์™ ๋„ฃ์–ด๋“œ๋ ค์š”.

์ง€๊ธˆ ํ•ซํ•œ AI ์†Œ์‹๋ถ€ํ„ฐ ์ง์ ‘ ํ•ด ๋ณธ ์‚ฌ๋ก€๊นŒ์ง€, ์›”์š”์ผ๋งˆ๋‹ค ๋ฌด๋ฃŒ๋กœ ๋ฐ›์•„๋ณด์„ธ์š”

์ด๋Ÿฐ ์‚ฌ๋ก€๋„ ์žˆ์–ด์š”

์‚ฌ๋ก€ ์ „์ฒด ๋ณด๊ธฐ