Ollama Cloud Models Preview

Ollama 已推出 Cloud 模型的預覽版,允許使用者在無需具備本地硬體容量來託管模型的情況下,於資料中心級硬體上執行大規模語言模型 (LLMs)。此更新實現了本地與雲端推論之間的無縫轉換,同時透過不保留使用者數據的政策來維護隱私。

High-Performance Hardware for Large-Scale Models

Ollama Cloud 提供對標準個人電腦無法容納的大型模型的存取權。透過將運算卸載到雲端,使用者可以利用快速的資料中心級硬體,同時繼續使用現有的本地 Ollama 工具和工作流程。

Model Availability and Versioning

若要存取雲端模型,使用者必須執行 Ollama v0.12。目前雲端預覽版中可用的模型如下:

  • qwen3-coder:480b-cloud
  • gpt-oss:120b-cloud
  • gpt-oss:20b-cloud
  • deepseek-v3.1:671b-cloud

Integration and API Compatibility

雲端模型旨在於 Ollama 生態系統中表現得如同標準的本地模型。它們與現有的 CLI 指令,例如 ollama lsollama runollama pullollama cp 進行整合。

API Access Methods

Ollama Cloud 模型可透過多種介面進行存取:

  1. OpenAI-compatible API: 雲端模型透過 Ollama 的 OpenAI-compatible API 運作。
  2. Ollama Libraries: 官方的 JavaScript (npm install ollama) 和 Python (pip install ollama) 函式庫支援雲端模型。
  3. Direct API: 模型可以透過 ollama.com API 直接存取。
  4. cURL: 在模型被 pull 之後,可以使用標準的 REST calls 到 http://localhost:11434/api/chat 來與雲端模型進行互動。

Authentication and Privacy

存取雲端模型需要進行身分驗證,因為推論運算是在 ollama.com 上託管的。使用者必須使用以下指令來管理其工作階段:

  • Sign In: ollama signin
  • Sign Out: ollama signout

關於安全性,Ollama 表示其雲端服務不會保留使用者數據,以確保隱私與安全性。

Sources

相關

  • Dispatch
  • 專案
  • Dispatch
  • 專案
  • Dispatch