Ollama Windows 預覽版本

Ollama 現已在 Windows 上推出預覽版本，讓使用者能透過原生 Windows 環境拉取、執行和建立大型語言模型（LLMs）。此版本支援本地模型執行，內建 GPU 加速功能，並可完全存取 Ollama 模型庫與 API。

原生硬體加速

Ollama 在 Windows 上提供硬體加速，以優化模型效能，無需虛擬化或手動設定。軟體會利用 NVIDIA GPU 與現代 CPU 指令集（特別是 AVX 和 AVX2）來加速模型執行，若可用的話。

模型庫與視覺功能

Windows 使用者可完全存取 Ollama 模型庫，包含視覺模型。對於具備視覺能力的模型（如 LLaVA 1.6），使用者可直接將圖片拖曳至 ollama run 命令中，加入訊息。

後台 API 與 OpenAI 兼容性

Ollama 的 API 會自動在背景執行於 http://localhost:11434，讓外部工具與應用程式可直接連接，無需額外設定。

主要 API 功能包括：

• OpenAI 兼容性：Windows 預覽版支援與其他 Ollama 平台相同的 OpenAI 兼容性，讓現有的 OpenAI 工具可搭配本地模型使用。
• PowerShell 整合：可透過 PowerShell 直接使用 Invoke-WebRequest 呼叫 API，向本機端點發送 POST 請求。

安裝與設定

要開始使用 Windows 預覽版，使用者可下載 OllamaSetup.exe 安裝程式。安裝完成後，可透過終端機執行 ollama run llama2 來執行模型。當有新版本釋出時，應用程式會提示使用者更新。