Ollama 云端模型预览
Ollama 推出了云端模型的预览版,允许用户在数据中心级硬件上运行大规模语言模型 (LLMs),而无需本地硬件具备托管这些模型的容量。此次更新实现了本地与云端推理之间的无缝切换,同时通过不保留用户数据的政策来维护隐私。
大规模模型的高性能硬件
Ollama Cloud 提供对标准个人计算机无法容纳的超大型模型的访问。通过将计算任务卸载到云端,用户可以利用快速的数据中心级硬件,同时继续使用现有的本地 Ollama 工具和工作流。
模型可用性与版本控制
要访问云端模型,用户必须运行 Ollama v0.12。目前云端预览版中可用的模型包括:
qwen3-coder:480b-cloudgpt-oss:120b-cloudgpt-oss:20b-clouddeepseek-v3.1:671b-cloud
集成与 API 兼容性
云端模型旨在在 Ollama 生态系统中表现得像标准的本地模型一样。它们与现有的 CLI 命令集成,例如 ollama ls、ollama run、ollama pull 和 ollama cp。
API 访问方法
Ollama Cloud 模型可以通过多种接口进行访问:
- OpenAI 兼容 API:云端模型通过 Ollama 的 OpenAI 兼容 API 工作。
- Ollama 库:官方 JavaScript (
npm install ollama) 和 Python (pip install ollama) 库支持云端模型。 - 直接 API:可以通过 ollama.com API 直接访问模型。
- cURL:在拉取模型后,可以使用对
http://localhost:11434/api/chat的标准 REST 调用来与云端模型进行交互。
身份验证与隐私
访问云端模型需要身份验证,因为推理计算托管在 ollama.com 上。用户必须使用以下命令来管理其会话:
- 登录:
ollama signin - 登出:
ollama signout
关于安全性,Ollama 表示其云服务不会保留用户数据,以确保隐私和安全。
Sources
- OriginalCloud models
相关
- Dispatch
- 项目
- Dispatch
- 项目
- Dispatch