BasetenとHugging Face Inference Providerの統合

Hugging Faceは、Hugging Face Hub上でサポートされるInference ProviderとしてBasetenを統合しました。この統合により、開発者はHugging FaceのウェブサイトUIおよびクライアントSDKを通じて、BasetenのサーバーレスAIインフラストラクチャと最先端モデルのカタログに直接アクセスできるようになります。

サーバーレス推論機能

Basetenは、トレーニングと推論のためのサーバーレスAIインフラストラクチャを提供します。この統合を通じて、Basetenは当初、Hugging Face Hub上で対話型およびテキスト生成タスクをサポートします。これにより、以下を含むいくつかの人気のあるオープンウェイトの大規模言語モデル(LLM)への即時アクセスが可能になります:

  • DeepSeek V4 Flash
  • Kimi K3
  • GLM-5.2

テキスト生成以外の追加のモデルタイプやタスクのサポートは、将来的に展開される予定です。

統合とワークフロー

ユーザーは、Hugging FaceのウェブサイトUIと公式クライアントSDKという2つの主要なインターフェースを通じて、Basetenでホストされているモデルにアクセスできます。

ウェブサイトUIの設定

ユーザーアカウントの設定において、Hugging Faceユーザーは推論の優先設定を管理できます:

  • APIキーの管理: ユーザーは独自のBaseten APIキーを設定できます。カスタムキーが提供されない場合、リクエストはHugging Face経由でルーティングされます。
  • プロバイダーの優先順位: ユーザーはプロバイダーを優先順位に従って並べ替えることができ、これによりモデルページのウィジェットやコードスニペットに表示される順序が決まります。

クライアントSDKとエージェントハーネス

Basetenは、huggingface_hub Pythonライブラリ(バージョン1.26.1以上)および@huggingface/inference JavaScriptライブラリ経由で利用可能です。

Hugging Face Inference Providerは、Pi、OpenCode、Hermes Agents、OpenClawなどのさまざまなエージェントハーネスに統合されているため、Basetenでホストされているモデルは、追加のグルーコードなしでこれらのツールに組み込むことができます。

ルーティングと請求モデル

BasetenのようなInference Providerを呼び出すには、2つの異なるモードがあります:

  1. カスタムキーモード: リクエストは、ユーザー自身のプロバイダーAPIキーを使用して、推論プロバイダーに直接送信されます。このモードでは、ユーザーはBasetenから直接請求を受けます。
  2. HF経由のルーティングモード: リクエストはHugging Faceトークンを介して認証され、Basetenにルーティングされます。このモードでは、Hugging Faceによる追加の上乗せ料金なしで、標準的なプロバイダーAPIレートでHugging Faceアカウントに料金が適用されます。

PROユーザー向けのクレジットシステム

Hugging Face PROユーザーは、毎月2ドル相当の推論クレジットを受け取り、これは異なるプロバイダー間で利用可能です。ログインしている無料ユーザーも、少量の無料推論枠を利用できます。

Sources

関連

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch