Hugging Face NVIDIA NIM API (serverless) の開始と廃止

TL;DR

Hugging Face は Enterprise Hub ユーザー向けに NVIDIA NIM API (serverless) を開始し、OpenAI 互換 API を通じて NVIDIA DGX Cloud H100 GPU 上でオープンソース LLM の従量課金サーバーレス推論を提供します。このサービスは高性能生成 AI へのアクセスを簡素化し、GPU 使用時間を秒単位で課金します。

NVIDIA NIM API (serverless) とは？

NVIDIA NIM API (serverless) は、Enterprise Hub 組織がインフラを管理せずに、Llama 3 や Mistral などの人気オープンソース生成モデルの推論を NVIDIA の DGX Cloud H100 Tensor Core GPU 上で実行できる新しい Hugging Face Hub サービスです。このサービスは Hugging Face と NVIDIA の既存の協業を基盤としており、以前に発表された Train on DGX Cloud オファリングを補完します。

サービスの仕組み

前提条件

  • Hugging Face Enterprise Hub 組織のメンバーであること。
  • 組織にスコープされた細粒度アクセストークン（Hugging Face の Access Tokens ページで作成）。

手順別ワークフロー

  1. 細粒度トークンの作成 – 「org permissions」のみを持つトークンを生成します。追加のスコープは不要です。
  2. 対応 NIM モデルの検索 – NVIDIA NIM Collection またはモデルの Hub ページを参照します。例として、meta-llama/Meta-Llama-3-8B-Instruct カードには Deploy メニューに NVIDIA NIM API (serverless) オプションがあり、コードスニペットが用意されています。
  3. 推論リクエストの送信 – OpenAI 互換 SDK（openai Python パッケージ）を使用し、ベース URL https://huggingface.co/api/integrations/dgx/v1 と細粒度トークンを API キーとして設定します。現在、chat.completions.create と models.list エンドポイントがサポートされています。
from openai import OpenAI

client = OpenAI(
    base_url="https://huggingface.co/api/integrations/dgx/v1",
    api_key="YOUR_FINE_GRAINED_TOKEN_HERE"
)

chat = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Count to 500"}
    ],
    stream=True,
    max_tokens=1024
)

for chunk in chat:
    print(chunk.choices[0].delta.content, end="")

models.list エンドポイントを使用すると、現在利用可能なすべての NIM モデルを列挙できます。

対応モデルと料金

このサービスは NVIDIA H100 GPU のみで動作し、料金は 1 時間あたり $8.25（≈ 1 秒あたり $0.0023）です。費用はリクエストごとに必要な GPU 数とレイテンシに基づいて計算されます。

モデル ID H100 GPU 数 典型的なレイテンシ*（入力 500、出力 100） リクエストあたりの概算コスト
meta-llama/Meta-Llama-3-8B-Instruct 1 1 s $0.0023
meta-llama/Meta-Llama-3-70B-Instruct 4 2 s $0.0184
meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 8 5 s $0.0917

*レイテンシは DGX Cloud H100 ハードウェア上で測定されたものです。

その他の対応モデルにはさまざまな Mixtral や Mistral 系列が含まれ、各モデルは特定の GPU 数にマッピングされています（例：Mixtral‑8x22B‑Instruct‑v0.1 は 8 台の H100 を使用）。利用料金は Enterprise Hub 組織の月次請求サイクルに請求され、Hub の請求設定で確認できます。

技術的意義

  • サーバーレス抽象化 – 開発者は GPU クラスタのプロビジョニング、スケーリング、保守を行う必要がなく、シンプルな HTTP 呼び出しで推論を実行できます。
  • 標準化 API – OpenAI API スキーマを採用することで、既存のツールやライブラリをコード変更なしで再利用できます。
  • コスト透明性 – 秒単位の GPU 料金により、特にバースト的なワークロードに対して予算計画が容易になります。
  • パフォーマンス優位性 – NVIDIA DGX Cloud H100 GPU と今後の TensorRT‑LLM 統合により、汎用クラウド GPU 提供サービスに比べてレイテンシが低くスループットが高くなることが期待されます。

今後のロードマップ

Hugging Face は chat.completions.create と models.list 以外のエンドポイント機能を追加し、対応モデルカタログを拡充する計画を発表しています。NVIDIA TensorRT‑LLM を Hugging Face の Text Generation Inference（TGI）フレームワークに統合することで、推論速度がさらに向上し、ベンチマークやベストプラクティスガイドが今後リリースされる予定です。

廃止通知

更新: 本サービスは 2025 年 4 月 10 日 に廃止され、利用できなくなりました。ユーザーはサーバーレス推論機能を継続して利用するために、新しい Inference Providers フレームワークへの移行が推奨されます。

上記情報は 2024 年 7 月 29 日に発表されたサービスの状態を反映しています。以降の廃止により本サービスは稼働していませんが、アーキテクチャ上の概念は Hugging Face のサーバーレス AI 推論への取り組みを理解する上で依然として有用です。

Sources