Featherless AI と Hugging Face 推論プロバイダーの統合

Hugging Face は Featherless AI を Hugging Face Hub のサポートされる推論プロバイダーとして統合しました。この統合により、ユーザーはモデルページやクライアント SDK を通じて、サーバーレス推論で幅広いオープンソースのテキストおよび対話モデルにアクセスできるようになります。

Featherless AI の機能

Featherless AI は、独自のモデルロードと GPU オーケストレーションを活用したサーバーレス推論プロバイダーで、非常に大規模なモデルカタログを提供します。限られたモデルセットへの低コストアクセスと、無制限のモデル範囲を管理するための高額なプライベートサーバー運用費用とのギャップを埋め、サーバーレス料金で多種多様なモデルを提供することを目指しています。

サポートされているモデルには、DeepSeek、Meta、Google、Qwen などのプロバイダーからの最新オープンソースリリースが含まれます。

統合と利用フロー

ユーザーは Hugging Face のウェブサイト UI または公式クライアント SDK を通じて Featherless AI とやり取りできます。

ウェブサイト UI 設定

ユーザーアカウント設定で、以下が可能です:

  • API キーの管理: 特定のプロバイダー用にカスタム API キーを設定します。カスタムキーが提供されていない場合、リクエストは Hugging Face 経由でルーティングされます。
  • プロバイダーの優先順位設定: 優先順位に従ってプロバイダーを並べ替え、モデルページのウィジェットやコードスニペットでの表示順序を決定します。

クライアント SDK の実装

Featherless AI は Python と JavaScript の両方の SDK に統合されています。Featherless AI をプロバイダーとして使用するには、provider パラメータを "featherless-ai" に設定する必要があります。

Python Example (huggingface_hub v0.33.0+):

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="featherless-ai",
    api_key=os.environ["HF_TOKEN"]
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-0528", 
    messages=messages,
)

print(completion.choices[0].message)

JavaScript Example (@huggingface/inference):

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1-0528",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "featherless-ai",
});

console.log(chatCompletion.choices[0].message);

リクエストルーティングと課金

Hugging Face Hub で推論プロバイダーを呼び出すには、2 つの異なるモードがあります:

  1. カスタムキー（直接呼び出し）: ユーザー自身の API キーを使用してリクエストが直接推論プロバイダーに送られます。この場合、ユーザーはプロバイダー（例: Featherless AI）から直接課金されます。
  2. HF 経由（ルーティングされたリクエスト）: リクエストは Hugging Face Hub を通じて認証されます。料金は Hugging Face アカウントに課金され、Hugging Face は標準 API 料金でプロバイダーコストを転嫁し、追加のマークアップはありません。

サブスクリプション特典

  • PRO ユーザー: 毎月 $2 相当の推論クレジットを受け取り、さまざまなプロバイダーで利用できます。
  • 無料ユーザー: 小規模なクオータで無料推論にアクセスできます。

Sources