Ollama는 사용자의 로컬 머신에서 Llama 2, Code Llama와 같은 대규모 언어 모델(LLM)을 구축하고 실행할 수 있는 경량이면서 확장 가능한 프레임워크입니다. 이 플랫폼을 통해 개발자들은 복잡한 설정이나 외부 의존성 없이 언어 모델을 쉽게 사용하고, 개인 프로젝트나 연구에 적용할 수 있습니다. 또한 사용의 용이성을 최우선으로 하면서도, 사용자가 자신의 요구에 맞게 시스템을 맞춤 설정하고 확장할 수 있는 유연성을 제공합니다.
이 글에서는 macOS, Linux 및 Windows에서 설치하고 사용하는 방법을 안내합니다.
- 목차 -
Ollama 설치
macOS 사용자
Linux 사용자
Windows 사용자
실행방법
사용법
Llama2 모델 사용하기
Mistral 모델 사용하기
다양한 모델 설치 및 사용 가능
정리
Ollama 설치
Ollama는 다양한 운영 체제를 지원합니다. 여기서는 운영체제별 설치 방법을 안내합니다.
macOS 사용자
공식 웹사이트에서 파일을 다운로드합니다.
다운로드 받은 Ollama.app 파일을 응용 프로그램 폴더로 이동합니다.
Linux 사용자
터미널에서 다음 명령어를 입력하여 설치합니다:
curl https://ollama.ai/install.sh | sh Windows 사용자
현재 WSL2(Windows Subsystem For Linux)를 통해 사용할 수 있습니다.
곧 출시될 Windows 전용 버전에 대한 최신 정보는 공식 웹사이트를 참조하세요.
맥 사용자 : Ollama.app 파일을 응용 프로그램 폴더로 이동
실행방법
처음 실행하면 설치 과정이 자동으로 진행됩니다.
메뉴바에서 Ollama의 알파카 아이콘을 확인할 수 있습니다.
사용법
Ollama를 사용하면 다양한 LLM 모델을 손쉽게 실행할 수 있습니다. 또한 처음 사용하는 모델을 다운로드하는 시간 외에는 인터넷 연결도 필요치 않습니다.
Llama2 모델 사용하기
터미널에 다음 명령어를 입력하여 Llama2 모델을 실행합니다. 모델은 자동으로 다운로드됩니다.
ollama run llama2 자동으로 llama2 모델을 다운로드 하고 사용자의 입력을 받을 준비가 완료되었습니다. hi라고 입력하면 다음과 같은 답변을 받을 수 있습니다.
hi
안녕하세요! 당신을 만나서 반가워요.내가 당신을 도울 수있는 것이 있습니까, 아니면 채팅하고 싶습니까?
대화를 끝내려면 /bye 명령어로 종료할 수 있습니다.
Mistral 모델 사용하기
Llama2 모델에 이어, Mistral 모델도 인기가 높습니다. 다음 명령어로 Mistral 모델을 실행해 보세요.
ollama run mistral한국어를 할 수 있냐고 물어봤습니다.
can you speak korean?
저는 인공지능으로 한국어를 포함한 어떤 언어도 사람처럼 말하거나 이해할 수 있는 능력이 없습니다. 하지만 번역 모델을 사용하여 한국어로 텍스트를 생성할 수는 있습니다. 영어로 된 텍스트를 제공해 주시면 한국어로 번역해 드릴 수 있습니다. 특별히 원하는 것이 있으면 알려주세요!
다양한 모델 설치 및 사용 가능
Ollama는 다양한 LLM 모델을 지원합니다. 설치 가능한 모델 목록과 각 모델의 사양에 대한 자세한 정보는 ollama.ai/library에서 확인할 수 있습니다. 사용 전, 자신의 시스템 사양에 적합한 모델을 선택하는 것이 좋습니다.
정리
Ollama를 통해 로컬에서 LLM을 실행하는 방법을 알아보았습니다. 이는 인터넷 연결이나 별도의 API 사용료 없이 언어 모델을 활용할 수 있는 효율적인 방법을 제공합니다. 앞으로는 파이썬과 함께 Langchain을 사용하여 Ollama를 활용하는 방법에 대해서도 알아볼 예정입니다.
이 글이 Ollama, LLM, Mistral, 언어 모델, 그리고 Llama2에 관심 있는 분들에게 유용한 정보가 제공되었길 바랍니다.
참고로 OpenAI의 Assistants API 활용법에 대한 글도 있으니 확인해 보시면 좋을 것 같습니다.
출처 : Ollama #1: 비용 걱정 없이 내 컴퓨터에서 제약 없는 LLM 실행하기 | AI&GameDev
#9기랭체인