Hugging Face 整合 Public AI 作為推論提供者

Hugging Face 已在 Hugging Face Hub 上整合 Public AI 作為受支援的推論提供者。此整合讓使用者能夠透過無伺服器推論，直接從模型頁面以及透過客戶端 SDK，存取公共與主權 AI 模型——例如來自 Swiss AI Initiative 與 AI Singapore 的模型。

Public AI 基礎設施與使命

Public AI 是一個非營利、開源的專案，提供推論工具以支援公共 AI 模型建構者。其基礎設施設計具備彈性與分散式存取：

  • Backend: 此工具使用 vLLM 驅動的後端，伺服器提供相容 OpenAI 的 API。
  • Deployment: 運算資源部署於由國家與產業合作夥伴捐贈的叢集上。
  • Routing: 全球負載平衡層會透明地將請求導向最有效率的運算來源，無論主機所在國家為何。
  • Funding: 目前免費的公共存取由廣告補貼與捐贈的 GPU 時間支援，長期穩定性則預計由機構與政府的貢獻作為基礎。

整合與使用工作流程

使用者可以透過 Hugging Face Hub 網站 UI 或官方客戶端 SDK 存取 Public AI 模型。系統支援兩種主要的驗證與路由模式：

網站 UI 設定

使用者可在帳戶設定中管理偏好設定以：

  1. 設定 API 金鑰： 使用者可為特定提供者提供自己的 API 金鑰。若未設定自訂金鑰，請求將透過 Hugging Face 路由。
  2. 排序偏好： 使用者可優先設定哪些提供者在模型頁面小工具與程式碼片段中優先顯示。

路由模式

  • Custom Key: 請求直接使用使用者的特定提供者 API 金鑰發送至推論提供者。
  • Routed by HF: 請求透過 Hugging Face 令牌驗證，費用將計入 Hugging Face 帳戶，而非提供者的帳戶。

透過 SDK 的技術實作

Public AI 已整合至 Python 與 JavaScript SDK。若要將 Public AI 作為提供者使用，huggingface_hub Python 函式庫必須為 0.34.6 版或以上。

Python 範例

使用 huggingface_hub 中的 InferenceClient，使用者可以指定 provider="publicai" 並提供 api_key（可為用於路由的 Hugging Face 令牌或 Public AI 金鑰）。

JavaScript 範例

使用 @huggingface/inference 函式庫，在 chatCompletion 方法中傳入 provider 參數，以將請求路由至 Public AI。

計費與點數

截至 2025 年 9 月 17 日，透過 Hugging Face 推論提供者使用 Public AI 推論工具為免費，但價格與可用性可能會變動。

對於平台上的其他提供者，計費遵循以下規則：

  • Direct Requests: 使用特定提供者 API 金鑰時，由該提供者收費。
  • Routed Requests: 使用 Hugging Face 路由時，使用者支付標準的提供者 API 費率，且不另加任何加價。
  • PRO Plan Benefits: Hugging Face PRO 使用者每月可獲得 2 美元的推論點數，可於不同提供者間使用。

Sources