Baseten 与 Hugging Face 推理提供商的集成

Hugging Face 已将 Baseten 集成为 Hugging Face Hub 上支持的推理提供商。通过此次集成，开发者可以直接通过 Hugging Face 的网站 UI 和客户端 SDK 访问 Baseten 的无服务器 AI 基础设施以及一系列前沿模型目录。

无服务器推理能力

Baseten 为训练和推理提供无服务器 AI 基础设施。通过此次集成，Baseten 最初在 Hugging Face Hub 上支持对话和文本生成任务。这使得用户能够立即访问多个流行的开源权重大型语言模型 (LLMs)，包括：

  • DeepSeek V4 Flash
  • Kimi K3
  • GLM-5.2

预计未来将推出对文本生成之外的其他模型类型和任务的支持。

集成与工作流

用户可以通过两种主要界面访问 Baseten 托管的模型：Hugging Face 网站 UI 和官方客户端 SDK。

网站 UI 配置

在用户账户设置中，Hugging Face 用户可以管理其推理偏好：

  • API Key 管理：用户可以设置自己的 Baseten API 密钥。如果未提供自定义密钥，请求将通过 Hugging Face 进行路由。
  • 提供商偏好：用户可以根据偏好对提供商进行排序，这决定了它们在模型页面组件和代码片段中出现的顺序。

客户端 SDK 和 Agent Harnesses

Baseten 可通过 huggingface_hub Python 库（版本 1.26.1 或更高）和 @huggingface/inference JavaScript 库使用。

由于 Hugging Face 推理提供商已集成到各种 agent harnesses（例如 Pi, OpenCode, Hermes Agents, 和 OpenClaw）中，因此 Baseten 托管的模型可以无需额外的胶水代码即可接入这些工具。

路由与计费模式

调用像 Baseten 这样的推理提供商有两种不同的模式：

  1. 自定义密钥模式：使用用户自己的提供商 API 密钥将请求直接发送到推理提供商。在这种模式下，用户将直接由 Baseten 计费。

  2. 通过 HF 路由模式：请求通过 Hugging Face token 进行身份验证并路由到 Baseten。在这种模式下，费用将按标准提供商 API 费率应用于 Hugging Face 账户，Hugging Face 不会收取额外的加价。

PRO 用户积分系统

Hugging Face PRO 用户每月可获得价值 2 美元的推理积分，这些积分可用于不同的提供商。登录的免费用户也可以获得少量的免费推理额度。

Sources

相关