Dell Enterprise Hub: 本地 AI 部署與訓練

Hugging Face 與 Dell 推出了 Dell Enterprise Hub，這是一個平台，可簡化在 Dell 硬體上本地訓練與部署開源大型語言模型（LLM）。此整合將設定本地 AI 所需的工程工作量，從數週的手動配置縮減至數分鐘。

簡化的本地 LLM 部署

Dell Enterprise Hub 允許企業直接在其安全的 IT 環境中部署開源模型，以符合安全、合規與隱私需求。透過在本地託管模型，企業能完整擁有與控制其 AI 功能，並確保客戶資料得到保護。

部署流程的主要特點包括：

精選模型目錄：此中心提供一系列先進的開源模型，包括 Meta 的 Llama 3、Mistral AI 的 Mixtral，以及 Google 的 Gemma。
硬體最佳化：部署配置針對 Dell 平台進行最佳化，考量可用的硬體、記憶體與連線。這些配置會定期在 Dell 基礎設施上測試，以確保即插即用的效能。
精簡工作流程：使用者選擇模型、支援的 Dell 平台與 GPU 數量，然後在終端機執行提供的腳本，即可建立 API 端點。
統一存取：由於中心是基於 Hugging Face 帳號構建，現有的模型權重授權（例如來自 Meta 或 Google）會自動轉移。

Dell Enterprise Hub 讓企業能在本地微調開源模型，確保用於訓練的機密智慧財產與客戶資料永不離開公司的安全環境。微調後的開源模型在特定領域的使用情境中，甚至可以超越如 GPT-4 等封閉模型的表現。

要微調模型，使用者需提供最佳化的訓練容器，並指定訓練資料集（CSV 或 JSONL 格式）所在的本機路徑，以及微調後模型權重的目標路徑。

平台支援「自備模型」的方式，允許使用者部署自行訓練或透過中心微調的模型。若模型使用支援的架構，使用者只需設定模型權重的本機路徑，即可將其部署為 API 端點。

為了促進從原型到正式產品的轉換，部署的模型使用相容 OpenAI 的 Messages API。這讓開發者能輕鬆將使用 OpenAI 建立的原型遷移至 Dell 硬體上的安全本地部署。

Dell Enterprise Hub 利用 Hugging Face 與主要硬體加速器的合作。它為各種 Dell 平台配置使用最佳化的容器，並汲取以下工程合作成果：

此生態系統確保開源模型能在使用不同 AI 硬體加速器的廣泛 Dell 平台上高效部署與訓練。