Hugging Face 将 Public AI 整合为推理提供商

Hugging Face 已在 Hugging Face Hub 上将 Public AI 集成作为受支持的推理提供商。此集成使用户能够通过无服务器推理直接从模型页面以及通过客户端 SDK 访问公共和主权 AI 模型——例如来自 Swiss AI Initiative 和 AI Singapore 的模型。

Public AI 基础设施与使命

Public AI 是一个非营利、开源项目，提供推理工具以支持公共 AI 模型构建者。其基础设施旨在实现弹性和分布式访问：

  • 后端：该工具使用基于 vLLM 的后端，服务器提供兼容 OpenAI 的 API。
  • 部署：计算资源部署在由国家和行业合作伙伴捐赠的集群中。
  • 路由：全球负载均衡层透明地将请求路由到最有效的计算资源，无论所在国家为何。
  • 资金：免费公共访问目前由广告补贴和捐赠的 GPU 时间支持，长期稳定性计划由机构和国家资助来保障。

集成与使用工作流

用户可以通过 Hugging Face Hub 网站 UI 或官方客户端 SDK 访问 Public AI 模型。系统支持两种主要的身份验证和路由模式：

网站 UI 配置

用户可以在账户设置中管理偏好，以：

  1. 设置 API 密钥：用户可以为特定提供商提供自己的 API 密钥。如果未设置自定义密钥，请求将通过 Hugging Face 路由。
  2. 排序偏好：用户可以优先选择哪些提供商在模型页面小部件和代码片段中首先出现。

路由模式

  • 自定义密钥：请求使用用户针对特定提供商的 API 密钥直接发送至推理提供商。
  • 由 HF 路由：请求通过 Hugging Face 令牌进行身份验证，费用计入 Hugging Face 账户，而非提供商的账户。

通过 SDK 的技术实现

Public AI 已集成到 Python 和 JavaScript SDK 中。要将 Public AI 用作提供商，需要 huggingface_hub Python 库的版本为 0.34.6 或更高。

Python 示例

使用 huggingface_hub 中的 InferenceClient，用户可以指定 provider="publicai" 并提供 api_key（可以是用于路由的 Hugging Face 令牌或 Public AI 密钥）。

JavaScript 示例

使用 @huggingface/inference 库，在 chatCompletion 方法中传入 provider 参数，以将请求路由至 Public AI。

计费与积分

截至 2025 年 9 月 17 日，通过 Hugging Face 推理提供商使用 Public AI 推理工具是免费提供的，但价格和可用性可能会变更。

对于平台上的其他提供商，计费遵循以下规则：

  • 直接请求：当使用特定提供商的 API 密钥时，费用由该提供商收取。
  • 路由请求：用户通过 Hugging Face 支付标准的提供商 API 费用，无额外加价。
  • PRO 计划福利：Hugging Face PRO 用户每月可获得 2 美元的推理积分，可在不同提供商之间使用。

Sources