Foundry Managed Compute 上の Hugging Face モデル

Foundry Managed Compute 上の Hugging Face モデル

TL;DR

Microsoft は、Foundry Managed Compute と Foundry 上での Hugging Face モデル の統合を発表しました。これにより、企業は Hugging Face エコシステムから厳選されたオープンウェイトモデルのカタログを、ワンクリックでマネージド GPU プラットフォーム・アズ・ア・サービス上にデプロイできるようになります。また、Foundry プラットフォーム上のフロンティアモデルと同様のセキュリティ、ガバナンス、およびオブザーバビリティを継承できます。

Microsoft Foundry と Managed Compute

Microsoft Foundry は、エージェンティック AI アプリケーションの構築と運用を目的として設計されたプラットフォームです。Microsoft、OpenAI、Anthropic、Meta、Mistral、DeepSeek、Hugging Face を含むプロバイダーからの幅広いモデルにアクセスするための、統合されたエンドポイントと SDK（Python、C#、JavaScript、Java）を提供します。

Foundry Agent Service

Foundry には Foundry Agent Service が含まれており、以下の機能を提供します：

  • 組み込みメモリを備えた マルチエージェント・オーケストレーション
  • Foundry IQ による ナレッジ・グラウンディング
  • エンタープライズ データへのアクセスにエージェンティック・プロトコルを使用する 接続可能なツール
  • エンドツーエンドのトレーシング、リアルタイム・モニタリング、継続的な評価、およびプロンプト・オプティマイザーを含む オブザーバビリティ・ループ

エンタープライズ・ガードレールとセキュリティ

開発者は、統合されたコンテンツ・セーフティ・フィルター、タスク遵守ガードレール、敵対的テスト用の AI Red Teaming Agent、統合された RBAC、プライベート・ネットワーク、および Azure Policy 統合を利用できます。

Foundry Managed Compute

Managed Compute は、オープンソースおよびカスタムモデル向けのマネージド GPU プラットフォーム・アズ・ア・サービスです。これは基盤となる GPU トポロジーを抽象化し、開発者がモデルのパラメータ、コンテキスト長、および最適化目標（レイテンシ vs スループット）に基づいてデプロイできるようにします。Microsoft は、vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp を含むサポートされたランタイムのコンテナ更新、ランタイムのアップグレード、およびセキュリティパッチを自動的に処理します。

Foundry 上の Hugging Face コレクション

Hugging Face モデルを Foundry に統合することで、オープンウェイトモデルの運用レイヤーが提供され、企業は企業セキュリティ基準を維持しながら、オープン AI の柔軟性を活用できるようになります。

オープンモデルの主な機能

オープンウェイトモデルにより、高度なカスタマイズ（ファインチューニング、蒸留、量子化、LoRA）、正確なバージョン管理、およびアクセラレータの利用時間に応じた支払いとアイドル時のゼロへのスケーリングによるコスト形成が可能になります。

キュレーション・パイプライン

エンタープライズでの利用に耐えうる品質を確保するため、Hugging Face と Microsoft は体系的な 5 ステップのキュレーション・プロセスを採用しています：

  1. 特定 (Identification): コミュニティのシグナルと顧客の需要に基づいて、トレンドとなっているモデルが選定されます。
  2. コンプライアンスおよびセキュリティ・スクリーニング: ライセンスが Microsoft のエンタープライズ配布ポリシーに照らしてレビューされ、リポジトリが検査され、trust_remote_code パターンが除去されます。
  3. ランタイムの構築: Microsoft が推論コンテナイメージをビルド、CVE をスキャン、および署名します。
  4. セキュアなウェイト・ストレージ: ウェイトは Hugging Face から取得され、Microsoft が管理する Azure ストレージに保存されます。これにより、デプロイ中に Hugging Face Hub へのアウトバウンド・ネットワーク・アクセスが必要なくなります。
  5. 検証 (Validation): すべてのモデル、ランタイム、およびアクセラレータの組み合わせは、カタログに公開される前に、API 適合性とパフォーマンス（レイテンシ、スループット、TTFT）のテストが行われます。

モデル・ランタイムとモダリティ

Foundry は、モデル・アーキテクチャに合わせた専用のランタイムを使用して、テキスト、ビジョン、オーディオ、マルチモーダルを含む多様なモダリティをサポートしています：

  • vLLM: オープン LLM 用のデフォルトの高スループット・エンジン。Hugging Face が vLLM に貢献しているため、Transformers ライブラリのモデルは、Hugging Face に登場した当日に Foundry で提供されることがよくあります。
  • SGLang: 言語およびマルチモーダル・モデル向けに最適化されており、特にエージェンティックなワークロードに不可欠な構造化出力（JSON、regex）をサポートしています。
  • Text Embeddings Inference (TEI): RAG およびセマンティック検索を最適化するために、埋め込み、リランカー、およびシーケンス分類モデルに使用されます。
  • llama.cpp: コスト最適化されたデプロイのために、CPU または小型 GPU 上での GGUF 量子化モデルへのパスを提供します。
  • TensorRT-LLM および NIM: 特定のモデルファミリーに対して優れたレイテンシとスループットを実現するために、NVIDIA ハードウェア上で利用されます。
  • hf-serve: ビジョンやオーディオなど、LLM/埋め込みの高速パス以外のアーキテクチャ向けの、Hugging Face のマルチモデル推論サーバーです。

デプロイメントとスコアリングのワークフロー

Hugging Face コレクションからオープンウェイトモデルをデプロイするには、5 つのステップが含まれます：カタログの閲覧、デプロイ・テンプレートの選択、インスタンス数の構成、デプロイ（ポータル、CLI、SDK、または REST 経由）、および統合された Foundry エンドポイントを介したスコアリングです。

デプロイメント・テンプレート

デプロイメント・テンプレートは、ランタイム、アクセラレータ・ファミリー、コンテキスト長、およびチューニング設定を固定したバージョン管理されたアセットです。例えば、qwen3-32b モデルには、異なる NVIDIA A100 または H100 の構成やコンテキスト長（40K 対 128K）のテンプレートが用意されている場合があります。

統合

デプロイメントは、OpenAI SDK を使用して統合された Foundry エンドポイントを通じてアクセス可能です。これらのモデルは、管理者接続モデルとして Foundry Agents に組み込むことができ、フロンティアモデルと同じ認証、エンドポイント、およびオブザーバビリティを共有できます。

Sources