Amazon Bedrock Marketplace の Hugging Face モデル

Hugging Face オープンモデルが Amazon Bedrock で利用可能に

Hugging Face は、Bedrock Marketplace のローンチを発表し、AWS のお客様が Amazon Bedrock 内で直接 83 の人気のあるオープンモデルをデプロイできるようにしました。この統合により、開発者はオープンソースモデルの柔軟性と Amazon Bedrock のフルマネージドインフラストラクチャを組み合わせ、Agents、Knowledge Bases、Guardrails、Model Evaluations などのハイレベルサービスとのネイティブな互換性を得ることができます。

テクニカルアーキテクチャと統合

Bedrock Marketplace のモデルエンドポイントは、内部で Amazon SageMaker JumpStart によって駆動されています。このアーキテクチャにより、ユーザーは SageMaker JumpStart が提供するデプロイの容易さを活用しながら、Amazon Bedrock のマネージドインフラストラクチャと API エコシステムを利用することができます。

デプロイメント方法

Amazon Bedrock でオープンモデルをデプロイするための主なパスは 2 つあります：

  1. Bedrock Model Catalog: ユーザーは、利用可能な 14 のリージョンのいずれかで、Bedrock Model Catalog 内で「Hugging Face」プロバイダーでフィルタリングしてモデルを検索できます。
  2. Amazon SageMaker JumpStart: ユーザーは JumpStart を介してモデルをデプロイし、その後 Bedrock に登録することができます。

価格モデル

Amazon Bedrock で SageMaker JumpStart エンドポイントを登録する際、コストは以下のように構成されます：

  • Compute: ユーザーは、モデルをホストするために使用される基盤となる SageMaker コンピューティングリソースに対して料金を支払います。
  • API Access: 標準の Amazon Bedrock API 価格が適用されます。

実装ワークフロー: Gemma 2 27B Instruct のデプロイ

この統合を示すために、Hugging Face は Google Gemma 2 27B Instruct モデルをデプロイするワークフローを提供します：

1. デプロイメントプロセス

  • Selection: Bedrock Model Catalog 内で Google Gemma 2 27B Instruct を見つける。
  • Configuration: エンドポイント名、インスタンス構成（例: ml.g5.48xlarge）、ネットワーク/サービスロール設定を選択する。
  • Compliance: モデルプロバイダーのエンドユーザーライセンス契約（EULA）を受け入れる。
  • Execution: ユーザーの Amazon SageMaker テナンシーにモデルをデプロイする。

2. プログラムによるアクセス

デプロイ後、モデルはそのエンドポイント ARN を介してアクセス可能になります。開発者は AWS SDK（Python の場合は boto3 など）または AWS CLI を使用してモデルを呼び出すことができます。

Bedrock Converse API を使用すると、modelId に endpoint_arn を渡すことでリクエストを構造化できます。これにより、標準の Bedrock 推論パラメータ（例: maxTokens, temperature, topP）および repetition_penalty や top_k などのモデル固有のフィールドを使用して、アプリケーションにモデルを統合できます。

3. リソース管理

継続的なコストを回避するために、ユーザーは実験完了後に Amazon Bedrock コンソールの「Marketplace deployments」ページからエンドポイントを手動で削除する必要があります。

Sources