Ollama 云端模型预览

Ollama 推出了云端模型的预览版,允许用户在数据中心级硬件上运行大规模语言模型 (LLMs),而无需本地硬件具备托管这些模型的容量。此次更新实现了本地与云端推理之间的无缝切换,同时通过不保留用户数据的政策来维护隐私。

大规模模型的高性能硬件

Ollama Cloud 提供对标准个人计算机无法容纳的超大型模型的访问。通过将计算任务卸载到云端,用户可以利用快速的数据中心级硬件,同时继续使用现有的本地 Ollama 工具和工作流。

模型可用性与版本控制

要访问云端模型,用户必须运行 Ollama v0.12。目前云端预览版中可用的模型包括:

  • qwen3-coder:480b-cloud
  • gpt-oss:120b-cloud
  • gpt-oss:20b-cloud
  • deepseek-v3.1:671b-cloud

集成与 API 兼容性

云端模型旨在在 Ollama 生态系统中表现得像标准的本地模型一样。它们与现有的 CLI 命令集成,例如 ollama lsollama runollama pullollama cp

API 访问方法

Ollama Cloud 模型可以通过多种接口进行访问:

  1. OpenAI 兼容 API:云端模型通过 Ollama 的 OpenAI 兼容 API 工作。
  2. Ollama 库:官方 JavaScript (npm install ollama) 和 Python (pip install ollama) 库支持云端模型。
  3. 直接 API:可以通过 ollama.com API 直接访问模型。
  4. cURL:在拉取模型后,可以使用对 http://localhost:11434/api/chat 的标准 REST 调用来与云端模型进行交互。

身份验证与隐私

访问云端模型需要身份验证,因为推理计算托管在 ollama.com 上。用户必须使用以下命令来管理其会话:

  • 登录ollama signin
  • 登出ollama signout

关于安全性,Ollama 表示其云服务不会保留用户数据,以确保隐私和安全。

Sources

相关

  • Dispatch
  • 项目
  • Dispatch
  • 项目
  • Dispatch