Hugging Face 模型在 Amazon Bedrock Marketplace

Hugging Face 開放模型現在可在 Amazon Bedrock 使用

Hugging Face 已宣布推出 Bedrock Marketplace，使 AWS 客戶能夠直接在 Amazon Bedrock 內部署 83 個熱門開放模型。此整合使開發者能夠將開源模型的靈活性與 Amazon Bedrock 的完全受管理基礎設施結合起來，包括與 Agents、Knowledge Bases、Guardrails 和 Model Evaluations 等高階服務的原生相容性。

技術架構與整合

Bedrock Marketplace 模型端點由 Amazon SageMaker JumpStart 在底層提供動力。此架構允許用戶利用 SageMaker JumpStart 提供的部署便利性，同時使用 Amazon Bedrock 的受管理基礎設施和 API 生態系統。

部署方法

有兩種主要途徑可用於在 Amazon Bedrock 上部署開放模型：

  1. Bedrock Model Catalog: 用戶可以透過在 Bedrock Model Catalog 中篩選「Hugging Face」提供者來搜尋模型，適用於任意的 14 個可用區域。
  2. Amazon SageMaker JumpStart: 用戶可以透過 JumpStart 部署模型，然後將其註冊到 Bedrock。

定價模型

在 Amazon Bedrock 中註冊 SageMaker JumpStart 端點時，費用結構如下：

  • Compute: 用戶需為用於託管模型的底層 SageMaker 計算資源付費。
  • API Access: 標準的 Amazon Bedrock API 定價適用。

實作工作流程：部署 Gemma 2 27B Instruct

為了展示此整合，Hugging Face 提供了部署 Google Gemma 2 27B Instruct 模型的工作流程：

1. 部署流程

  • 選擇： 在 Bedrock Model Catalog 中定位 Google Gemma 2 27B Instruct。
  • 配置： 選擇端點名稱、實例配置（例如 ml.g5.48xlarge），以及網路/服務角色設定。
  • 合規： 接受模型提供者的最終用戶許可協議（EULA）。
  • 執行： 將模型部署到用戶的 Amazon SageMaker 租戶。

2. 程式化存取

部署後，模型可透過其端點 ARN 存取。開發者可以使用 AWS SDK（例如 Python 的 boto3）或 AWS CLI 呼叫模型。 使用 Bedrock Converse API 時，請將 endpoint_arn 作為 modelId 傳遞來構建請求。這使得模型能夠使用標準的 Bedrock 推論參數（例如 maxTokens、temperature、topP）以及額外的模型特定欄位（如 repetition_penalty 和 top_k）整合到應用程式中。

3. 資源管理

為了避免持續產生費用，用戶必須在完成實驗後，手動透過 Amazon Bedrock 主控台的「Marketplace deployments」頁面刪除端點。

Sources