Ollama Windows Preview Release

Ollama가 이제 Windows 프리뷰 버전으로 출시되어, 사용자가 네이티브 Windows 환경을 통해 대규모 언어 모델(LLMs)을 pull, run, 그리고 create할 수 있습니다. 이번 릴리스를 통해 내장된 GPU 가속과 Ollama 모델 라이브러리 및 API에 대한 전체 액세스를 통해 로컬 모델 실행이 가능해집니다.

Native Hardware Acceleration

Windows용 Ollama는 가상화나 수동 설정 없이 모델 성능을 최적화하기 위한 하드웨어 가속을 제공합니다. 이 소프트웨어는 NVIDIA GPU와 사용 가능한 경우 특히 AVX 및 AVX2와 같은 현대적인 CPU 명령어 세트를 사용하여 모델 실행을 가속화합니다.

Model Library and Vision Capabilities

Windows 사용자는 vision 모델을 포함하여 Ollama 모델 라이브러리에 대한 전체 액세스를 가 가질 수 있습니다. LLaVA 1.6과 같은 vision 기능이 있는 모델의 경우, 사용자는 ollama run 명령에 이미지를 직접 드래그 앤 드롭하여 메시지에 이미지를 추가할 수 있습니다.

Background API and OpenAI Compatibility

Ollama의 API는 http://localhost:11434에서 백그라운드에서 자동으로 실행되어, 추가 설정 없이 외부 도구 및 애플리케이션이 연결될 수 있도록 합니다.

주요 API 기능은 다음과 같습니다:

• OpenAI Compatibility: Windows 프리뷰는 다른 Ollama 플랫폼과 동일한 OpenAI 호환성을 지원하여, 기존 OpenAI 기반 도구를 로컬 모델과 함께 사용할 수 있게 합니다.
• PowerShell Integration: API는 PowerShell을 통해 Invoke-WebRequest를 사용하여 로컬 엔드포인트로 POST 요청을 보내도록 직접 호출할 수 있습니다.

Installation and Setup

Windows 프리뷰를 사용하기 시작하려면 사용자는 OllamaSetup.exe 설치 프로그램을 다운로드할 수 있습니다. 설치 후, 터미널을 사용하여 ollama run llama2 명령으로 모델을 실행할 수 있습니다. 애플리케이션은 새로운 릴리스가 제공될 때마다 업데이트를 안내할 것입니다.