๋ณธ๋ฌธ์œผ๋กœ ๊ฑด๋„ˆ๋›ฐ๊ธฐ

๐Ÿ’ก Mac mini์— LLM ์„ค์น˜ํ•ด์„œ ๋‚˜๋งŒ์˜ ์ง€์‹ ๋น„์„œ ๋งŒ๋“ค๊ธฐ(2) ๋กœ์ปฌ์— ์„ค์น˜ํ•œ LLM์—๊ฒŒ ํ•œ๊ธ€์„ ์žฅ์ฐฉํ•ด๋ณด์ž!

๐Ÿ’ก Mac mini์— LLM ์„ค์น˜ํ•ด์„œ ๋‚˜๋งŒ์˜ ์ง€์‹ ๋น„์„œ ๋งŒ๋“ค๊ธฐ(2) ๋กœ์ปฌ์— ์„ค์น˜ํ•œ LLM์—๊ฒŒ ํ•œ๊ธ€์„ ์žฅ์ฐฉํ•ด๋ณด์ž! ๋ณธ๋ฌธ ์ด๋ฏธ์ง€

๋กœ์ปฌ์— ์„ค์น˜ํ•œ LLM์—๊ฒŒ ํ•œ๊ธ€์„ ์žฅ์ฐฉํ•ด๋ณด์ž!

โœ… ๋ฐฉ๋ฒ• 1: ๋Œ€ํ™” ์‹œ์ž‘ํ•  ๋•Œ ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ๋„ฃ๊ธฐ

์˜ˆ์‹œ: ํ„ฐ๋ฏธ๋„์—์„œ

ollama run llama3

์‹คํ–‰

ollama run llama3
> ์‹œ์Šคํ…œ: ์•ž์œผ๋กœ ๋ชจ๋“  ๋Œ€๋‹ต์€ ํ•œ๊ตญ์–ด๋กœ ํ•ด์ค˜.
> ์‚ฌ์šฉ์ž: ๋„ˆ๋Š” ์–ด๋–ค ๋ชจ๋ธ์ด์•ผ?

์ฒ˜์Œ โ€œํ•œ๊ตญ์–ด๋กœ ๋Œ€๋‹ตํ•ด์ค˜โ€๋ผ๊ณ  ํ•œ ๋ฒˆ๋งŒ ๋งํ•ด๋‘๋ฉด, ๋Œ€์ฒด๋กœ ์ดํ›„๋ถ€ํ„ฐ ๊ณ„์† ํ•œ๊ตญ์–ด๋กœ ๋Œ€๋‹ต


โœ… ๋ฐฉ๋ฒ• 2: ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ๋กœ ์„ค์ •ํ•œ

Modelfile

๋งŒ๋“ค๊ธฐ (์ถ”์ฒœ)

๋” ํ™•์‹คํ•˜๊ฒŒ ํ•ญ์ƒ ํ•œ๊ตญ์–ด๋กœ ์‘๋‹ตํ•˜๋„๋ก ํ•˜๋ ค๋ฉด Modelfile์„ ๋งŒ๋“ค์–ด์„œ ์ƒˆ ๋ชจ๋ธ ์ด๋ฆ„์œผ๋กœ ๋“ฑ๋ก

1.

Modelfile ์ƒ์„ฑ

FROM llama3
SYSTEM ๋ชจ๋“  ์‘๋‹ต์€ ๋ฐ˜๋“œ์‹œ ํ•œ๊ตญ์–ด๋กœ ํ•ด์ฃผ์„ธ์š”.

2. ๋ชจ๋ธ ๋“ฑ๋ก

ollama create llama3-ko -f Modelfile

3. ์‹คํ–‰

ollama run llama3-ko

์ด์ œ๋Š” ๋งค๋ฒˆ โ€œํ•œ๊ตญ์–ด๋กœ ํ•ด์ค˜โ€ ์•ˆ ์จ๋„ ๊ธฐ๋ณธ์ ์œผ๋กœ ํ•œ๊ตญ์–ด๋กœ ์‘๋‹ต

ํŒŒ์ด์ฌ ํ”„๋กœ๊ทธ๋žจ์˜ ์Šคํฌ๋ฆฐ ์ƒท
ํ…์ŠคํŠธ๊ฐ€์žˆ๋Š” ๊ฒ€์€ ์ƒ‰ ํ™”๋ฉด์˜ ์Šคํฌ๋ฆฐ ์ƒท
ํ•œ๊ตญ์–ด ๋ฌธ์ž ๋ฉ”์‹œ์ง€์˜ ์Šคํฌ๋ฆฐ ์ƒท


๐Ÿ’ก์ถ”๊ฐ€ ํŒ

๋ชฉ์ 

ํ”„๋กฌํ”„ํŠธ ์˜ˆ์‹œ

ํ•ญ์ƒ ํ•œ๊ตญ์–ด ์‘๋‹ต

SYSTEM ๋ชจ๋“  ์‘๋‹ต์€ ํ•œ๊ตญ์–ด๋กœ ํ•ด์ฃผ์„ธ์š”.

ํŠน์ • ๋งํˆฌ

SYSTEM ์กด๋Œ“๋ง๋กœ, ์นœ์ ˆํ•˜๊ณ  ๊ฐ„๊ฒฐํ•˜๊ฒŒ ๋Œ€๋‹ตํ•ด์ฃผ์„ธ์š”.

์บ๋ฆญํ„ฐ ์„ค์ •

SYSTEM ๋‹น์‹ ์€ ํ•œ๊ตญ์–ด๋ฅผ ์ž˜ํ•˜๋Š” ์ง€์‹ ๋งŽ์€ ์กฐ์ˆ˜์ž…๋‹ˆ๋‹ค.


ํ•„์š”ํ•˜๋ฉด llama3-ko ๋ชจ๋ธ์„ REST API๋กœ๋„ ๋ฐ”๋กœ ํ˜ธ์ถœ ๊ฐ€๋Šฅ.

1

ํ•จ๊ป˜ ์ด์•ผ๊ธฐํ•ด์š” 1

๋กœ๊ทธ์ธํ•˜๊ณ  ๋Œ“๊ธ€์„ ๋‚จ๊ฒจ ์ฃผ์„ธ์š”

๋Œ•๋Œ•์ด๋ฉ๋ฉ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€

์ €๋Š” ์—‘์‚ฌ์› ์š”์ฆ˜์— ํ…Œ์ŠคํŠธ ํ•ด๋ดค๋Š”๋ฐ ๋น ๋ฅด๊ณ  ํ•œ๊ตญ์–ด ์ž˜ ๋‚˜์™€์„œ ์ด๊ฑธ๋กœ ๋ญ˜ ํ• ๊นŒ ์ƒ๊ฐ ์ค‘์ž…๋‹ˆ๋‹ค. ๋‚˜์ค‘์— ํ•œ๋ฒˆ ํ…Œ์ŠคํŠธํ•ด ๋ณด์„ธ์š”.

ํ•„์š”ํ•œ AI ์ •๋ณด๋งŒ
๋ฉ”์ผํ•จ์— ์™์™ ๋„ฃ์–ด๋“œ๋ ค์š”.

์ง€๊ธˆ ํ•ซํ•œ AI ์†Œ์‹๋ถ€ํ„ฐ ์ง์ ‘ ํ•ด ๋ณธ ์‚ฌ๋ก€๊นŒ์ง€, ์›”์š”์ผ๋งˆ๋‹ค ๋ฌด๋ฃŒ๋กœ ๋ฐ›์•„๋ณด์„ธ์š”

์ด๋Ÿฐ ์‚ฌ๋ก€๋„ ์žˆ์–ด์š”

์‚ฌ๋ก€ ์ „์ฒด ๋ณด๊ธฐ