DeepInfra 與 Hugging Face 推理提供者整合

DeepInfra 與 Hugging Face 推理提供者整合

Hugging Face 已將 DeepInfra 整合為 Hugging Face Hub 上支援的推理提供者。此整合使開發者能直接透過 Hugging Face 的基礎設施和用戶端 SDK 存取 DeepInfra 的無伺服器 AI 推理平台及其超過 100 個模型的目錄。

無伺服器推理功能

DeepInfra 提供具成本效益的無伺服器推理，適用於廣泛的 AI 能力。儘管該平台支援多種模型類型，包括 text-to-image、text-to-video 和 embeddings，但與 Hugging Face 的初始整合專注於 對話和文本生成任務。

透過此整合可使用的支援開放權重 LLMs 包含：

  • DeepSeek V4
  • Kimi-K2.6
  • GLM-5.1

未來將推出對額外任務的支援，例如 embeddings、text-to-video 和 text-to-image。

整合與工作流程

使用者可以透過 Hugging Face 網站 UI 或透過用戶端 SDK 存取 DeepInfra 託管的模型。

網站 UI 設定

在使用者帳戶設定中，使用者可以透過兩種方式管理他們的推理體驗：

  1. 自訂 API 金鑰：使用者可以為提供者設定自己的 API 金鑰。在此情況下，請求會直接發送到提供者。
  2. 提供者偏好：使用者可以依偏好排序提供者，這會影響模型頁面上小工具和程式碼片段的排序。

請求路由模式

呼叫推理提供者有兩種不同的模式：

  • 自訂金鑰模式：使用使用者特定於提供者的 API 金鑰，直接將呼叫發送到推理提供者。
  • 由 HF 路由模式：請求會透過 Hugging Face 進行路由。使用者不需要提供者特定的權杖，費用將直接應用於 Hugging Face 帳戶。

用戶端 SDK 支援

DeepInfra 可透過 Python 的 huggingface_hub（版本 1.11.2 或更高）和 JavaScript 的 @huggingface/inference 存取。此整合也擴展至各種 Agent Harness，包括 OpenClaw、Hermes Agents、OpenCode 和 Pi，使模型能够無需額外的膠水代碼即可插入這些工具。

計費與積分

計費取決於所使用的路由方式：

  • 直接請求：使用者會由推理提供者（例如 DeepInfra）根據其提供者帳戶進行計費。
  • 路由請求：使用者透過 Hugging Face 支付標準提供者 API 費用。Hugging Face 不會對這些費用加收溢價。

Hugging Face PRO 訂閱者每月可獲得價值 2 美元的推理積分，可用於不同的提供者。已登入的免費使用者將獲得少量免費推理配額。

技術實作範例

要透過 Python 使用 DeepInfra 託管的模型（例如 DeepSeek V4 Pro），可以搭配 Hugging Face 路由器使用 OpenAI 相容的客戶端：

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Pro:deepinfra",
    messages=[
        {
            "role": "user",
            "content": "Write a Python function that returns the nth Fibonacci number using memoization."
        }
    ],
)

print(completion.choices[0].message)

Sources