Hugging Face 将 Fireworks.ai 集成作为推理提供商

Hugging Face 已在 Hub 上将 Fireworks.ai 集成作为受支持的推理提供商。此集成使用户能够直接在模型页面以及 Hugging Face 库和工具生态系统中访问广泛模型的极速无服务器推理。

支持的模型

Fireworks.ai 在 Hugging Face Hub 上为众多模型提供无服务器推理，包括：

  • DeepSeek-R1 (deepseek-ai/DeepSeek-R1)
  • DeepSeek-V3 (deepseek-ai/DeepSeek-V3)
  • Mistral-Small-24B-Instruct-2501 (mistralai/Mistral-Small-24B-Instruct-2501)
  • Qwen2.5-Coder-32B-Instruct (Qwen/Qwen2.5-Coder-32B-Instruct)
  • Llama-3.2-90B-Vision-Instruct (meta-llama/Llama-3.2-90B-Vision-Instruct)

实现和访问方法

用户可以通过以下三种主要界面访问 Fireworks.ai 推理功能：

网站用户界面

用户可以直接在 Hugging Face 网站 UI 中搜索并运行 Fireworks.ai 支持的所有模型的推理。

客户端 SDK

Fireworks.ai 可以通过以下 SDK 集成到应用程序中：

  • Python (huggingface_hub): 通过从源码安装库并在 InferenceClient 中定义 provider="fireworks-ai" 参数，用户可以将请求路由到 Fireworks.ai。身份验证可以通过 Hugging Face 令牌或 Fireworks.ai API 密钥来处理。
  • JavaScript (@huggingface/inference): 用户可以在 chatCompletion 方法中指定 provider: "fireworks-ai" 参数以使用该提供者。

HTTP 调用

可以通过 cURL 向 Hugging Face 路由端点 (https://router.huggingface.co/fireworks-ai/v1/chat/completions) 发送直接的 HTTP 请求，指定模型和身份验证 bearer 令牌。

计费和积分

Fireworks.ai 推理的计费根据所使用的身份验证方式进行处理：

  • Direct Requests: 使用 Fireworks.ai API 密钥时，用户将直接通过其 Fireworks 账户进行计费。
  • Routed Requests: 通过 Hugging Face Hub 进行身份验证时，用户支付标准的 Fireworks API 费用，且没有来自 Hugging Face 的额外加价。

此外，Hugging Face PRO 用户每月可获得价值 2 美元的推理积分，可跨不同提供商使用。

Sources