Hugging Face 推理端點

Hugging Face 推出了 Inference Endpoints，一項受管服務，旨在簡化將機器學習模型從 Hugging Face Hub 部署至雲端基礎設施的流程。此服務消除將模型打包成容器、配置基礎設施以及構建預測 API 的運營負擔，讓開發者能在數分鐘內從模型頁面切換到可投入生產的端點。

受管部署工作流程

Inference Endpoints 允許直接從 Hugging Face Hub 部署模型。使用者可以選擇模型、挑選偏好的雲端提供商（例如 AWS）與區域（例如 eu-west-1），並指定硬體需求，例如 GPU 實例。

主要設定選項包括:

  • Autoscaling：使用者可以選擇性地設定服務根據需求自動擴縮。
  • Custom Containers：此服務支援透過自訂容器部署，以滿足特殊需求。
  • Task Support：此服務支援廣泛的機器學習任務，包括影像分類。

安全性與存取控制

Inference Endpoints 提供三種不同的安全等級，以控制誰能存取已部署的模型：

  • Public：端點位於公共 Hugging Face 子網路，任何網路使用者皆可在未驗證的情況下存取。
  • Protected：端點位於公共 Hugging Face 子網路，但存取需有效的組織令牌。
  • Private：端點位於私有 Hugging Face 子網路，無法透過公共互聯網存取。存取僅限於使用者自己的 AWS 帳戶，透過 AWS PrivateLink 建立的 VPC 端點，從而控制哪些特定的 VPC 與子網路可存取。

監控與整合

已部署的端點提供整合工具，以監控效能與除錯：

  • Analytics Tab：提供即時端點指標，以追蹤請求成功與失敗率。
  • Logs Tab：提供詳細的執行日誌，包括不支援的內容類型錯誤訊息（例如缺少 Content-Type 標頭）。
  • API Access：端點可透過標準 HTTP 請求（使用 Python 或 curl）呼叫，於受保護與私有設定下需使用 Bearer token 進行驗證。

生產使用案例

Inference Endpoints 為生產等級、符合 HIPAA 規範的部署而設計。例如，慢性照護管理平台 Phamily 使用此服務加速 Transformer 模型的部署，同時維持嚴格的合規標準。

Sources