Ollama Windows 미리보기가 출시되었습니다! (Ollama Windows preview is here!)
Ollama가 요즘 많은 새로운 소식들을 쏟아내고 있습니다. [GN⁺] Ollama, Python & JavaScript 라이브러리 공개 한 것에 이어, [GN⁺] ollama, OpenAI API 호환성 제공 하더니, 이제 Windows에서도 실행할 수 있는 애플리케이션(Preview/미리보기 버전)을 출시하였습니다.
Windows Preview 소개
이번에 공개된 Windows의 Ollama에는 다음 기능들이 포함되어 있습니다.
내장 하드웨어를 사용한 가속화 지원
별도의 구성이나 가상화 없이, NVIDIA GPU (및 가능한 경우 AVX / AVX2와 같은 CPU 가속화 기능)를 사용하여 더 빠르게 모델을 실행합니다.
전체 모델 라이브러리에 대한 접근 가능
비전 모델들을 포함하여 전체 Ollama 모델 라이브러리에 있는 모델들을 Windows에서 실행할 수 있습니다 . 특히, LLaVA 1.6 과 같은 비전 모델을 실행할 때 이미지를 ollama 실행으로 끌어놓아 메시지에 추가할 수 있습니다.
(위 실행 결과는 다음 이미지를 사용하여 실행하였습니다.)
OpenAI 호환성 포함
Ollama의 API는 백그라운드에서 자동으로 실행되어 http://localhost:11434 에서 제공됩니다 . 추가 설정 없이 도구와 애플리케이션을 연결할 수 있습니다.
Windows에서 PowerShell을 사용하여 Ollama의 API를 호출하는 방법은 다음과 같습니다:
(Invoke-WebRequest -method POST -Body '{"model": "11ama2", "prompt": "Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate).Content | ConvertFrom-json
Windows의 Ollama는 다른 플랫폼과 동일한 OpenAI 호환성을 지원하므로 Ollama를 통해 로컬 모델과 함께 OpenAI용으로 구축된 기존 도구를 사용할 수 있습니다.
Ollama Windows Preview 사용해보기
- Windows용 Ollama 다운로드
- 다운로드 받은 설치 프로그램(
OllamaSetup.exe)을 두번 클릭하여 실행 - 설치 후 터미널을 열고
ollama run llama2를 실행하여 모델 다운로드 및 실행