Ollama Cloud Models Preview
Ollama 已推出 Cloud 模型的預覽版,允許使用者在無需具備本地硬體容量來託管模型的情況下,於資料中心級硬體上執行大規模語言模型 (LLMs)。此更新實現了本地與雲端推論之間的無縫轉換,同時透過不保留使用者數據的政策來維護隱私。
High-Performance Hardware for Large-Scale Models
Ollama Cloud 提供對標準個人電腦無法容納的大型模型的存取權。透過將運算卸載到雲端,使用者可以利用快速的資料中心級硬體,同時繼續使用現有的本地 Ollama 工具和工作流程。
Model Availability and Versioning
若要存取雲端模型,使用者必須執行 Ollama v0.12。目前雲端預覽版中可用的模型如下:
qwen3-coder:480b-cloudgpt-oss:120b-cloudgpt-oss:20b-clouddeepseek-v3.1:671b-cloud
Integration and API Compatibility
雲端模型旨在於 Ollama 生態系統中表現得如同標準的本地模型。它們與現有的 CLI 指令,例如 ollama ls、ollama run、ollama pull 和 ollama cp 進行整合。
API Access Methods
Ollama Cloud 模型可透過多種介面進行存取:
- OpenAI-compatible API: 雲端模型透過 Ollama 的 OpenAI-compatible API 運作。
- Ollama Libraries: 官方的 JavaScript (
npm install ollama) 和 Python (pip install ollama) 函式庫支援雲端模型。 - Direct API: 模型可以透過 ollama.com API 直接存取。
- cURL: 在模型被 pull 之後,可以使用標準的 REST calls 到
http://localhost:11434/api/chat來與雲端模型進行互動。
Authentication and Privacy
存取雲端模型需要進行身分驗證,因為推論運算是在 ollama.com 上託管的。使用者必須使用以下指令來管理其工作階段:
- Sign In:
ollama signin - Sign Out:
ollama signout
關於安全性,Ollama 表示其雲端服務不會保留使用者數據,以確保隱私與安全性。
Sources
- OriginalCloud models
相關
- Dispatch
- 專案
- Dispatch
- 專案
- Dispatch