๐Ÿ’ก Mac mini์— LLM ์„ค์น˜ํ•ด์„œ ๋‚˜๋งŒ์˜ ์ง€์‹ ๋น„์„œ ๋งŒ๋“ค๊ธฐ(2) ๋กœ์ปฌ์— ์„ค์น˜ํ•œ LLM์—๊ฒŒ ํ•œ๊ธ€์„ ์žฅ์ฐฉํ•ด๋ณด์ž!

๋กœ์ปฌ์— ์„ค์น˜ํ•œ LLM์—๊ฒŒ ํ•œ๊ธ€์„ ์žฅ์ฐฉํ•ด๋ณด์ž!

โœ… ๋ฐฉ๋ฒ• 1: ๋Œ€ํ™” ์‹œ์ž‘ํ•  ๋•Œ ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ๋„ฃ๊ธฐ

์˜ˆ์‹œ: ํ„ฐ๋ฏธ๋„์—์„œ

ollama run llama3

์‹คํ–‰

ollama run llama3
> ์‹œ์Šคํ…œ: ์•ž์œผ๋กœ ๋ชจ๋“  ๋Œ€๋‹ต์€ ํ•œ๊ตญ์–ด๋กœ ํ•ด์ค˜.
> ์‚ฌ์šฉ์ž: ๋„ˆ๋Š” ์–ด๋–ค ๋ชจ๋ธ์ด์•ผ?

์ฒ˜์Œ โ€œํ•œ๊ตญ์–ด๋กœ ๋Œ€๋‹ตํ•ด์ค˜โ€๋ผ๊ณ  ํ•œ ๋ฒˆ๋งŒ ๋งํ•ด๋‘๋ฉด, ๋Œ€์ฒด๋กœ ์ดํ›„๋ถ€ํ„ฐ ๊ณ„์† ํ•œ๊ตญ์–ด๋กœ ๋Œ€๋‹ต


โœ… ๋ฐฉ๋ฒ• 2: ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ๋กœ ์„ค์ •ํ•œ

Modelfile

๋งŒ๋“ค๊ธฐ (์ถ”์ฒœ)

๋” ํ™•์‹คํ•˜๊ฒŒ ํ•ญ์ƒ ํ•œ๊ตญ์–ด๋กœ ์‘๋‹ตํ•˜๋„๋ก ํ•˜๋ ค๋ฉด Modelfile์„ ๋งŒ๋“ค์–ด์„œ ์ƒˆ ๋ชจ๋ธ ์ด๋ฆ„์œผ๋กœ ๋“ฑ๋ก

1.

Modelfile ์ƒ์„ฑ

FROM llama3
SYSTEM ๋ชจ๋“  ์‘๋‹ต์€ ๋ฐ˜๋“œ์‹œ ํ•œ๊ตญ์–ด๋กœ ํ•ด์ฃผ์„ธ์š”.

2. ๋ชจ๋ธ ๋“ฑ๋ก

ollama create llama3-ko -f Modelfile

3. ์‹คํ–‰

ollama run llama3-ko

์ด์ œ๋Š” ๋งค๋ฒˆ โ€œํ•œ๊ตญ์–ด๋กœ ํ•ด์ค˜โ€ ์•ˆ ์จ๋„ ๊ธฐ๋ณธ์ ์œผ๋กœ ํ•œ๊ตญ์–ด๋กœ ์‘๋‹ต

ํŒŒ์ด์ฌ ํ”„๋กœ๊ทธ๋žจ์˜ ์Šคํฌ๋ฆฐ ์ƒท
ํ…์ŠคํŠธ๊ฐ€์žˆ๋Š” ๊ฒ€์€ ์ƒ‰ ํ™”๋ฉด์˜ ์Šคํฌ๋ฆฐ ์ƒท
ํ•œ๊ตญ์–ด ๋ฌธ์ž ๋ฉ”์‹œ์ง€์˜ ์Šคํฌ๋ฆฐ ์ƒท


๐Ÿ’ก์ถ”๊ฐ€ ํŒ

๋ชฉ์ 

ํ”„๋กฌํ”„ํŠธ ์˜ˆ์‹œ

ํ•ญ์ƒ ํ•œ๊ตญ์–ด ์‘๋‹ต

SYSTEM ๋ชจ๋“  ์‘๋‹ต์€ ํ•œ๊ตญ์–ด๋กœ ํ•ด์ฃผ์„ธ์š”.

ํŠน์ • ๋งํˆฌ

SYSTEM ์กด๋Œ“๋ง๋กœ, ์นœ์ ˆํ•˜๊ณ  ๊ฐ„๊ฒฐํ•˜๊ฒŒ ๋Œ€๋‹ตํ•ด์ฃผ์„ธ์š”.

์บ๋ฆญํ„ฐ ์„ค์ •

SYSTEM ๋‹น์‹ ์€ ํ•œ๊ตญ์–ด๋ฅผ ์ž˜ํ•˜๋Š” ์ง€์‹ ๋งŽ์€ ์กฐ์ˆ˜์ž…๋‹ˆ๋‹ค.


ํ•„์š”ํ•˜๋ฉด llama3-ko ๋ชจ๋ธ์„ REST API๋กœ๋„ ๋ฐ”๋กœ ํ˜ธ์ถœ ๊ฐ€๋Šฅ.

1

๐Ÿ‘‰ ์ด ๊ฒŒ์‹œ๊ธ€๋„ ์ฝ์–ด๋ณด์„ธ์š”