HUGS のローンチ：ゼロ構成、ハードウェア最適化された推論（インフェレンス）をオープンLLM向けに

TL;DR

Hugging Face は HUGS (Hugging Face Generative AI Services) を発表しました。これは、NVIDIA、AMD、そして近日中に AWS Inferentia と Google TPU でも動作する、オープンソース LLM 向けのゼロ構成・ハードウェア最適化された推論サービスで、企業が OpenAI 互換 API を使用してモデルを社内にデプロイできるようにします。

オープンモデル向けのゼロ構成最適化推論

HUGS は、特定の GPU や AI アクセラレータ向けに推論をチューニングするエンジニアリング負荷を取り除きます。各デプロイは事前にテストされ、対象ハードウェアに自動的に最適化されるため、手動設定なしで最大スループットを実現します。サービスは OpenAI 互換 API を提供するので、既存のアプリケーションはエンドポイント URL を変更するだけで HUGS に切り替えることができます。

なぜ HUGS なのか？

HUGS は、オープンモデルを安全かつ効率的にホストする必要がある企業向けに設計されています。

  • 社内デプロイ – モデルは組織のインフラ内で実行され、データと知的財産が公共インターネットに出ることを防ぎます。
  • ゼロ構成 – デプロイ時間が数週間から数分に短縮されます。HUGS は NVIDIA、AMD、またはその他のアクセラレータ向けに最適なモデルとサービング設定を自動的に選択します。
  • ハードウェア最適化 – Hugging Face の Text Generation Inference (TGI) 上に構築され、HUGS は各サポートアクセラレータから最大性能を引き出します。
  • ハードウェアの柔軟性 – 現在は NVIDIA と AMD GPU をサポートし、AWS Inferentia と Google TPU は今後のリリース予定です。
  • モデルの柔軟性 – 幅広いオープンソース LLM カタログに対応し、開発者に選択の自由を提供します。
  • 標準 API – Kubernetes 経由でデプロイし、OpenAI API を模倣したエンドポイントを提供するため、コード変更を最小限に抑えます。
  • エンタープライズ配布 – 長期サポート、厳格なテスト、SOC2 コンプライアンス、そしてコンプライアンスリスクを低減するバンドルライセンスを含みます。

"HUGS は、ローカルで即座に動作するモデルを高性能でデプロイする大きな時間節約ツールです。HUGS がなければ1週間かかっていた作業が、1時間未満で完了します。主権 AI 要件を持つ顧客にとってはゲームチェンジャーです！" – Henri Jouhaud, CTO at Polyconseil

"私たちは GCP の L4 GPU を使って Gemma 2 をデプロイするために HUGS を試しましたが、ライブラリやバージョン、パラメータをいじる必要はなく、すぐに動作しました。HUGS は、オープンモデルの社内利用をスケールできる自信を与えてくれます！" – Ghislain Putois, Research Engineer at Orange

仕組み

HUGS の入手先

HUGS は複数の配布チャネルを通じて入手できます。

  1. クラウドサービスプロバイダー（CSP）マーケットプレイス – AWS Marketplace と Google Cloud Marketplace からデプロイ可能です。Azure のサポートは近々発表予定です。
  2. DigitalOcean – GPU Droplet 上の 1‑Click Models サービスとして利用可能です。
  3. Enterprise Hub – Enterprise Hub のサブスクリプションを持つ組織は、営業リクエストを通じてアクセスできます。

各チャネルは、ドキュメント内にリンクされたプラットフォーム固有のデプロイ手順を提供します。

料金

HUGS はコンテナ稼働時間に基づくオンデマンド課金モデルを採用しています。

  • AWS & GCP Marketplace – コンテナ 1 時間あたり $1、コンピュートは CSP が別途課金します。AWS は 5 日間の無料トライアルを提供しています。
  • DigitalOcean – 追加の HUGS 料金は発生せず、GPU Droplet のコンピュートコストのみが適用されます。
  • Enterprise Hub – カスタム料金です。ご関心のある方は Hugging Face の営業にお問い合わせください。

推論の実行

HUGS は TGI を活用し、OpenAI 互換の Messages エンドポイントを提供します。開発者は curl、huggingface_hub SDK、または openai Python SDK などの標準ツールでサービスを呼び出すことができます。以下は huggingface_hub を使用した例です。

from huggingface_hub import InferenceClient

ENDPOINT_URL = "REPLACE"  # your deployed URL or IP
client = InferenceClient(base_url=ENDPOINT_URL, api_key="-")

chat_completion = client.chat.completions.create(
    messages=[{"role": "user", "content": "What is Deep Learning?"}],
    temperature=0.7,
    top_p=0.95,
    max_tokens=128,
)

サポートされているモデルとハードウェア

リリース時点で、HUGS は Meta Llama‑3.1、NousResearch、Mistral、Google Gemma‑2、Qwen ファミリーなど、13 の人気オープン LLM をサポートしています。サービスは NVIDIA と AMD GPU 上で動作し、今後は AWS Inferentia と Google TPU のサポートも予定されています。詳細な互換性マトリックスは公式の Supported Models と Supported Hardware ドキュメントで管理されています。

はじめに

企業は、AWS Marketplace、Google Cloud Marketplace、または DigitalOcean の 1‑Click Models からデプロイすることで、今日から HUGS の利用を開始できます。HUGS のゼロ構成特性により、迅速な概念実証開発と、クローズドソース API から自社ホストのオープンモデルへのスムーズな移行が可能です。

Note (September 2025 update): HUGS のモデルデプロイコンテナはもはや提供されていません。最適化された Hugging Face のモデルデプロイについては、Dell Enterprise Hub と Azure AI Foundry の Hugging Face コレクションをご参照ください。

Sources