Dell Enterprise Hub：本地 AI 部署与训练

Hugging Face 与 Dell 联手推出 Dell Enterprise Hub，这是一套简化在 Dell 硬件上本地训练和部署开源大型语言模型（LLM）的平台。该集成将搭建本地 AI 环境的工程工作量从数周的手动配置压缩至几分钟。

简化本地 LLM 部署

Dell Enterprise Hub 让企业能够在其安全的 IT 环境中直接部署开源模型，以满足安全、合规和隐私要求。通过在本地托管模型，公司能够完整拥有并控制 AI 功能，确保客户数据得到保护。

部署过程的关键特性包括：

  • 精选模型目录：该中心提供一系列先进的开源模型，包括 Meta 的 Llama 3、Mistral AI 的 Mixtral 和 Google 的 Gemma。
  • 硬件优化：部署配置针对 Dell 平台进行优化，考虑可用的硬件、内存和连接性。这些配置会在 Dell 基础设施上定期测试，以确保开箱即用的性能。
  • 简化工作流：用户选择模型，挑选受支持的 Dell 平台和 GPU 数量，然后在终端运行提供的脚本以创建 API 端点。
  • 统一访问：由于该中心基于 Hugging Face 账户构建，现有的模型权重授权（例如来自 Meta 或 Google）会自动转移。

本地模型微调

Dell Enterprise Hub 使企业能够在本地微调开源模型，确保用于训练的机密知识产权和客户数据永不离开公司的安全环境。经过微调的开源模型在特定领域的使用场景中可以超越诸如 GPT-4 等闭源模型。

要微调模型，用户需提供一个优化的训练容器，并指定训练数据集（CSV 或 JSONL 格式）所在的本地路径，以及微调后模型权重的目标路径。

自定义模型集成与 API 兼容性

平台支持“自带模型”（Bring Your Own Model）方式，允许用户部署自行训练或通过中心微调的模型。只要模型使用受支持的架构，用户即可简单地设置模型权重的本地路径，将其部署为 API 端点。

为帮助原型向生产环境平滑过渡，已部署的模型使用兼容 OpenAI 的 Messages API。这使开发者能够轻松将基于 OpenAI 的原型迁移到 Dell 硬件上的安全本地部署。

硬件与生态系统支持

Dell Enterprise Hub 依托 Hugging Face 与主要硬件加速器的合作，利用针对不同 Dell 平台配置的优化容器，相关工程工作包括：

  • NVIDIA（通过 optimum-nvidia）
  • AMD（通过 optimum-amd）
  • Intel（通过 optimum-intel 和 optimum-habana）

该生态系统确保开源模型能够在使用多种 AI 硬件加速器的广泛 Dell 平台上高效部署和训练。

Sources