Hugging Face と Amazon SageMaker Studio の統合
Hugging Face と Amazon SageMaker Studio の統合
Hugging Face と Amazon SageMaker AI は、開発者が Hugging Face でモデルを発見し、SageMaker Studio でハンズオン実験へシングルセレクションで移行できるディープリンク統合を開始しました。この統合により、ドメイン、IAM 権限、GPU クォータの設定という手動の手間がなくなり、オープンモデルの発見からエンタープライズ展開への直接的なパスが実現します。
ディープリンクによる効率化されたワークフロー
開発者は、対応する Hugging Face のモデルページ上のアクションボタンを使用して、AWS 環境内に入った後にモデルを再検索することなく、特定の SageMaker Studio ワークフローを起動できるようになりました。これらのディープリンクは、プラットフォーム間でモデルのコンテキストを保持します。
- Customize on SageMaker AI: 選択されたモデルが事前にロードされた状態で、Studio のモデルカスタマイズページを直接開き、ファインチューニングが可能です。
- Deploy on SageMaker AI: モデルがエンドポイントデプロイ用に事前設定された状態で、Studio のデプロイページを直接開きます。
自動化された環境と権限設定
手動設定を排除するため、この統合を通じて作成された新しい SageMaker Studio 環境は、事前設定された権限を持つドメインを自動的にプロビジョニングします。
管理された権限ポリシー
新しい管理ポリシー AmazonSageMakerModelCustomizationCoreAccess が環境に自動的に付与されます。このポリシーは、サーバーレスのモデルカスタマイズジョブに必要な権限を提供します。対象は以下の通りです：
- Supervised Fine-Tuning (SFT)（教師ありファインチューニング）
- Direct Preference Optimization (DPO)（直接嗜好最適化）
- Reinforcement Learning with Verifiable Rewards (RLVR)（検証可能な報酬を伴う強化学習）
- Reinforcement Learning from AI Feedback (RLAIF)（AI フィードバックからの強化学習）
これらのジョブは SageMaker AI または Amazon Bedrock のエンドポイントにデプロイできます。既存の Studio 環境を持つユーザーには、権限を手動で追加するための実用的なメッセージとドキュメントへのリンクが提供されます。
統合された GPU クォータの可視化
SageMaker Studio は、インスタンス選択リスト内に GPU クォータの利用可能性を直接表示するようになり、別の Service Quotas ページへ移動する必要がなくなりました。ユーザーは、アカウントの上限内で G5 および G6 GPU インスタンスタイプの利用可能性を即座に確認できます。上限の増加が必要な場合、UI は該当インスタンスタイプの Service Quotas ページへ直接リダイレクトします。
実装手順の概要
Hugging Face から実際に動作する SageMaker エンドポイントへ移行するプロセスは、主に4つのステップで構成されます。
- Discover and Select: 対応する Hugging Face のモデルページで、ユーザーは「Deploy on SageMaker AI」または「Customize on SageMaker AI」のいずれかを選択します。
- Sign-in: ユーザーは AWS Management Console を通じて認証します。既にアクティブなセッションがある場合はこのステップはスキップされます。
- Land in Studio: ユーザーは、モデルが事前に選択された状態で、SageMaker Studio の事前設定されたモデルカスタマイズまたはデプロイページに到着します。
- Test: エンドポイントがデプロイされるかモデルがカスタマイズされたら、Studio のエンドポイントテストインターフェースを使用して直接推論をテストできます。
「Hugging Face のオープンモデルからワンクリックで直接 SageMaker Studio に移行し、独自の AWS 環境内で何も設定せずにファインチューニングやデプロイができるという体験は、オープンモデルが欠けていたものです」と、Arcee AI の創業者兼 CEO である Mark McQuade は述べています。