Ollama Windows 预览版发布

Ollama 现已在 Windows 上以预览版形式发布，允许用户通过原生 Windows 体验拉取、运行和创建大型语言模型（LLMs）。此版本支持本地模型执行，具备内置 GPU 加速功能，并可完全访问 Ollama 模型库和 API。

原生硬件加速

Ollama for Windows 提供硬件加速功能，以优化模型性能，无需虚拟化或手动配置。当可用时，软件会利用 NVIDIA GPU 和现代 CPU 指令集（特别是 AVX 和 AVX2）来加速模型执行。

模型库与视觉功能

Windows 用户可完全访问 Ollama 模型库，包括视觉模型。对于支持视觉功能的模型（如 LLaVA 1.6），用户可通过直接将图像拖放到 ollama run 命令中，将其添加到消息中。

后台 API 与 OpenAI 兼容性

Ollama 的 API 会在后台自动运行于 http://localhost:11434，允许外部工具和应用程序无需额外设置即可连接。

关键 API 功能包括：

• OpenAI 兼容性：Windows 预览版支持与其他 Ollama 平台相同的 OpenAI 兼容性，使现有基于 OpenAI 的工具可与本地模型配合使用。
• PowerShell 集成：可通过 PowerShell 直接调用 API，使用 Invoke-WebRequest 向本地端点发送 POST 请求。

安装与设置

要开始使用 Windows 预览版，用户可下载 OllamaSetup.exe 安装程序。安装完成后，可通过终端使用命令 ollama run llama2 执行模型。当有新版本发布时，应用程序会提示用户更新。