Groq と Hugging Face 推論プロバイダーの統合

Hugging Face は、Groq を Hugging Face Hub のサポート対象の Inference Provider として統合しました。この統合により、開発者は Groq の Language Processing Unit（LPU）による高速推論を、Meta の Llama 4 や Qwen の QWQ-32B などのさまざまなオープンソースモデルに対して、Hub のモデルページやクライアント SDK を通じて直接利用できるようになります。

Groq LPU による高性能推論

Groq は、Large Language Model（LLM）などのシーケンシャルな要素を持つ計算負荷の高いアプリケーション向けに特別に設計された Language Processing Unit（LPU）を活用しています。従来の GPU が推論で抱える制約を克服することで、LPU アーキテクチャは遅延を大幅に低減し、スループットを向上させ、リアルタイム AI アプリケーションに最適化されています。

Groq は、これらのオープンに利用可能なモデルへアクセスするためのオンデマンドかつ従量課金制 API を提供しており、現在は Hugging Face Hub の Inference Provider として利用可能です。

統合とワークフロー

ユーザーは、Groq の推論機能に主に 2 つのインターフェース、すなわち Hugging Face のウェブサイト UI とクライアント SDK を通じてアクセスできます。

ウェブサイト UI の設定

ユーザーアカウント設定で、ユーザーは推論体験を次のように管理できます:

  • API キーの設定: ユーザーは特定のプロバイダー用に自分の API キーを入力できます。カスタムキーが提供されていない場合、リクエストは Hugging Face 経由でルーティングされます。
  • プロバイダー順序の設定: ユーザーはプロバイダーの優先順序を設定でき、これによりモデルページのウィジェットやコードスニペットでの表示順が決まります。

クライアント SDK の実装

Groq は、Python と JavaScript の両方向けの Hugging Face クライアント SDK に統合されています。

Python ユーザー向けには、huggingface_hub ライブラリ（バージョン v0.33.0 またはソースインストール）で、provider="groq" を指定することで InferenceClient を使用できます。

JavaScript ユーザー向けには、@huggingface/inference ライブラリで、chatCompletion メソッド内に provider: "groq" パラメータを渡すことで同様の機能が利用できます。

ルーティングと課金モデル

Hub で Inference Provider を呼び出す際には、2 つの異なるモードがあります。

  1. カスタムキー モード: リクエストはユーザー自身の API キーを使用して推論プロバイダーに直接送信されます。このモードでは、ユーザーはプロバイダー（例：Groq）から直接課金されます。
  2. HF 経由ルーティング モード: リクエストは Hugging Face Hub を通じて認証されます。このモードでは、ユーザーはプロバイダー固有のトークンを必要とせず、料金は Hugging Face アカウントに請求されます。Hugging Face はプロバイダーコストをそのまま転嫁し、マークアップは加えません。

サブスクリプション特典

  • PRO ユーザー: Hugging Face PRO の加入者は、毎月 $2 相当の推論クレジットを受け取り、さまざまなプロバイダーで利用できます。
  • 無料ユーザー: サインインした無料ユーザーには、無料推論用の少量クォータが提供されます。

Sources