Featherless AI 與 Hugging Face 推理提供者的整合

Featherless AI 功能

Featherless AI 是一個無伺服器推理提供者，利用獨特的模型載入與 GPU 編排，提供極為龐大的模型目錄。它旨在彌合低成本取得有限模型集合與管理私有伺服器以獲得無限制模型範圍之高昂成本之間的差距，提供多樣化的模型且採用無伺服器計價方式。

支援的模型包括來自 DeepSeek、Meta、Google 與 Qwen 等提供者的最新開源發佈。

整合與使用工作流程

使用者可以透過 Hugging Face 網站 UI 或官方客戶端 SDK 與 Featherless AI 互動。

網站 UI 設定

在使用者帳戶設定中，使用者可以：

  • 管理 API 金鑰：為特定提供者設定自訂 API 金鑰。若未提供自訂金鑰，請求將透過 Hugging Face 轉送。
  • 設定提供者偏好：依偏好順序排列提供者，以決定它們在模型頁面小工具與程式碼片段中的顯示方式。

客戶端 SDK 實作

Featherless AI 已整合至 Python 與 JavaScript SDK。若要將 Featherless AI 作為提供者使用，必須將 provider 參數設為 "featherless-ai"。

Python 範例 (huggingface_hub v0.33.0+):

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="featherless-ai",
    api_key=os.environ["HF_TOKEN"]
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-0528", 
    messages=messages,
)

print(completion.choices[0].message)

JavaScript 範例 (@huggingface/inference):

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1-0528",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "featherless-ai",
});

console.log(chatCompletion.choices[0].message);

請求路由與計費

在 Hugging Face Hub 呼叫推理提供者時，有兩種不同的模式：

  1. 自訂金鑰（直接呼叫）：請求直接使用使用者自己的 API 金鑰發送至推理提供者。在此情況下，使用者會直接由提供者（例如 Featherless AI）收費。
  2. 由 HF 轉送（轉送請求）：請求透過 Hugging Face Hub 進行驗證。費用會計入 Hugging Face 帳戶，且 Hugging Face 以標準 API 費率直接轉嫁提供者成本，未加收額外加價。

訂閱福利

  • PRO 使用者：每月可獲得等值 $2 的推理點數，可於各提供者間使用。
  • 免費使用者：可使用小額配額的免費推理服務。

Sources