Dell Enterprise Hub 更新：本地部署 AI 模型與應用程式

Dell 與 Hugging Face 宣佈了 Dell Enterprise Hub 的新版本，提供一套完整的工具組，用於在本地部署生成式 AI 模型與應用程式。此更新讓企業能在 Dell AI 伺服器與 AI PC 上推出安全、內部網路的 AI 功能，將部署時間從數週縮短至一小時以內。

為 Dell AI 伺服器優化的模型部署

Dell Enterprise Hub 提供針對特定 Dell AI Server 平台優化的完整測試容器，允許透過 Docker 與 Kubernetes 進行部署與訓練。此方式確保模型已完成基準測試與設定，以獲得最佳即時效能。

可用的主要模型包括：

  • Meta Llama 4 Maverick（可部署於 NVIDIA H200 或 AMD MI300X Dell PowerEdge 伺服器）
  • DeepSeek R1
  • Google Gemma 3

為確保快速可用，Hub 與 Dell CTIO 及工程團隊合作優化新版本；例如，Llama 4 模型在 Meta 公開發布後一小時內即可在 Hub 上取得。

即時部署的 AI 應用程式目錄

除了原始模型外，Dell Enterprise Hub 現已加入應用程式目錄，用於在私有網路內部署開源 AI 應用程式。這些應用程式使用可自訂的 helm chart，確保在部署過程中註冊 Model Context Protocol (MCP) 伺服器。

特色應用程式包括：

  • OpenWebUI：可部署本地聊天機器人助理，利用 MCP 連接內部資料與服務，支援透過向量資料庫與網路搜尋的 RAG（檢索增強生成）使用情境。
  • AnythingLLM：一個建構具代理功能助理的平台，可連接多個 MCP 伺服器。它支援多種模型、影像與文件處理，並提供內部使用者的角色基礎存取控制。

多硬體加速器支援

Dell Enterprise Hub 是唯一提供即用型模型部署解決方案，涵蓋三大 AI 加速器硬體供應商的平台：

  • NVIDIA：搭載 H100 與 H200 GPU 的 Dell 平台。
  • AMD：搭載 MI300X 的 Dell 平台。
  • Intel：搭載 Gaudi 3 的 Dell 平台。

Dell AI PC 的裝置端 AI

Hub 已擴展支援由 Intel 或 Qualcomm NPU 驅動的 Dell AI PC 裝置端推論。這讓 IT 組織能透過 Dell Pro AI Studio 與 Microsoft Intune 等 fleet 管理系統，為員工提供私有、裝置端的 AI 功能。

支援的裝置端功能包括：

  • 語音轉錄：由 OpenAI Whisper 提供。
  • 聊天助理：由 Microsoft Phi 與 Qwen 2.5 提供。
  • 影像升級與嵌入生成。

開發者工具：CLI 與 Python SDK

為將 Dell Enterprise Hub 整合至開發工作流程，Hugging Face 已發布 dell-ai 開源函式庫。此函式庫提供 Python SDK 與指令列介面（CLI），讓開發者可透過 pip install dell-ai 從終端機或程式碼直接與 Hub 互動。

Sources