Hugging Face 推論ソリューション概要 2022年11月

TL;DR

Hugging Face は、無料ウィジェット、無料 API、有料 Inference Endpoints、そして Spaces といったさまざまな推論サービスを導入し、開発者が最小限の手間でモデルをテスト、プロトタイプ作成、デプロイでき、コスト効率の高いスケーリングが可能になりました。

無料推論ウィジェット: 即時モデル探索

Inference Widget はすべてのモデルページに配置されており、ユーザーはサンプルデータをアップロードしてワンクリックで予測を取得できます。コードを書く必要はありません。モデルは Hugging Face のサーバー上でオンデマンドにロードされ、アイドル時にアンロードされるため、サービスは無料のままです。このウィジェットは、モデルの挙動、出力形式、サンプルパフォーマンスを手早く確認する手段を提供します。

"モデルが何をするか、その出力、そしてデータセットの数サンプルでのパフォーマンスをすぐに把握できる最良の方法です。モデルは当社サーバー上でオンデマンドにロードされ、不要になったらアンロードされます。コードを書く必要もなく、機能は無料です。好きにならない理由がありませんか？" – Julien Simon

無料推論 API: 開発向けワンライン HTTP 呼び出し

Inference API はウィジェットを支え、シンプルな HTTP エンドポイントを提供します。モデル識別子、入力ペイロード、Hub トークンを含む POST リクエストを送るだけで、数秒で予測結果が得られます。

curl https://api-inference.huggingface.co/models/xlm-roberta-base \
    -X POST \
    -d '{"inputs": "The answer to the universe is <mask>."}' \
    -H "Authorization: Bearer HF_TOKEN"

主な特徴:

  • カスタムサーバーやコンテナは不要。
  • 迅速な比較のためにモデルを即座に切り替え可能。
  • 無料利用枠あり（レートリミット適用）。
  • レートリミットや SLA 保証がないため、プロダクションワークロードには推奨されません。

Inference Endpoints を使った本番環境: 安全・スケーラブル・従量課金制

Inference Endpoints は任意の Hub モデル向けに管理された本番グレードのデプロイ層を提供します。ユーザーは AWS または Azure のリージョンを選択し、CPU または GPU インスタンスを選び、オートスケーリングを有効にできます。価格は時間あたり 0.06 USD からです。

セキュリティレベル

レベル アクセス 主な利用ケース
Public インターネットからのオープンアクセス、認証不要 公開デモ、オープン API
Protected 有効な Hugging Face トークンが必要 制御された公開 API
Private 分離されたサブネット、プライベートクラウドリンク経由のみアクセス可能 厳格なコンプライアンス、社内サービス

エンドポイント UI ではヘルス、スケーリング、コスト指標が表示され、コスト‑パフォーマンスの調整が容易になります。

"Inference Endpoints を利用すれば、任意の Hub モデルを安全でスケーラブルなインフラ上にデプロイでき、AWS または Azure の選択したリージョンでホストできます。CPU と GPU のホスティング、組み込みオートスケーリングなどの追加設定も可能です。これにより、適切なコスト／パフォーマンス比を簡単に見つけられます。"

Spaces: モデルをインタラクティブアプリに変換

Spaces はモデル推論とフロントエンド UI フレームワーク（例: Gradio）を組み合わせ、共有可能なデモや軽量な本番サービスを作成します。ユーザーは UI から直接ハードウェアを高度な Intel CPU や NVIDIA GPU にアップグレードできます。

主なポイント:

  • モデル操作用のフルウェブ UI を提供。
  • パフォーマンス向上のためのハードウェアアップグレードに対応。
  • モデルの紹介やシンプルな社内ツール構築に最適。

はじめに: 探索からデプロイまでの流れ

  1. Hugging Face Hub にログインし、モデルカタログを閲覧。
  2. モデルページの Inference Widget を使って予測を即座にテスト。
  3. Deploy をクリックして、無料 Inference API 用のコードを生成。
  4. 本番環境では同じデプロイフローから Inference Endpoints または Spaces を選択。
  5. Hugging Face フォーラムでフィードバックを提供。

背景とインパクト

これらの提供物は、研究と本番の間のハードルを下げ、開発者が最先端モデル（Transformers、Diffusers、その他のアーキテクチャ）を迅速に反復できるようにし、Intel がスポンサーする CPU 推論によるコスト管理を可能にします。段階的アプローチ（無料ウィジェット/API → 有料エンドポイント/Spaces）は、概念実証からエンタープライズデプロイまでの典型的な ML プロジェクトライフサイクルに合致しています。

詳細は公式 Hugging Face ブログ記事および各サービスのリンク先ドキュメントをご参照ください。

Sources