Baseten 與 Hugging Face 推理提供者之整合

Hugging Face 已將 Baseten 整合為 Hugging Face Hub 上支援的推理提供者。此整合讓開發者可以直接透過 Hugging Face 的網站 UI 和用戶端 SDK 存取 Baseten 的無伺服器 AI 基礎設施以及一系列前沿模型目錄。

無伺服器推理能力

Baseten 為訓練和推理提供無伺服器 AI 基礎設施。透過此整合，Baseten 最初在 Hugging Face Hub 上支援對話與文本生成任務。這使得開發者能立即存取多個熱門的開源權重大型語言模型 (LLMs)，包括：

• DeepSeek V4 Flash
• Kimi K3
• GLM-5.2

預計未來將推出對文本生成以外的其他模型類型和任務的支援。

整合與工作流程

使用者可以透過兩個主要介面存取 Baseten 託管的模型：Hugging Face 網站 UI 和官方用戶端 SDK。

網站 UI 配置

在使用者帳戶設定中，Hugging Face 使用者可以管理其推理偏好：

• API Key 管理：使用者可以設定自己的 Baseten API keys。如果未提供自定義金鑰，請求將透過 Hugging Face 進行路由。
• 提供者偏好：使用者可以根據偏好對提供者進行排序，這將決定它們在模型頁面小工具和程式碼片段中出現的順序。

用戶端 SDK 與 Agent Harnesses

Baseten 可透過 huggingface_hub Python 函式庫（版本 1.26.1 或更高）以及 @huggingface/inference JavaScript 函式庫使用。

由於 Hugging Face 推理提供者已整合至各種 agent harnesses（例如 Pi、OpenCode、Hermes Agents 和 OpenClaw）中，因此 Baseten 託管的模型可以無需額外膠水程式碼即可直接接入這些工具。

路由與計費模式

呼叫像 Baseten 這樣的推理提供者有兩種不同的模式：

1. 自定義金鑰模式：使用使用者自己的提供者 API key 進行請求，請求會直接發送到推理提供者。在此模式下，使用者將直接由 Baseten 計費。
2. 透過 HF 路由模式：請求透過 Hugging Face token 進行身份驗證並路由至 Baseten。在此模式下，費用將按標準提供者 API 費率計算並應用於 Hugging Face 帳戶，Hugging Face 不會額外加價。

PRO 使用者之信用額度系統

Hugging Face PRO 使用者每月可獲得價值 2 美元的推理額度，可用於不同的提供者。已登入的免費使用者也擁有少量的免費推理配額。