Hugging Face 与 Microsoft 战略合作更新（2024年5月）

Hugging Face 与 Microsoft 加深了战略合作，以简化开源 AI 模型在云基础设施、硬件和开发者工具中的部署和使用。该合作重点是通过 Azure 模型目录让开源模型更易获取，优化新 AMD 硬件上的性能，并简化 Hugging Face Spaces 与 VS Code 之间的开发者工作流。

在 Azure AI Studio 中扩展的开源模型访问

Microsoft Azure AI Studio 现在提供了扩展的 Hugging Face 集合，允许一键部署多个高性能的开源大型语言模型（LLM）。此集成使 Azure AI 客户能够直接从 Hugging Face Hub 或在 Azure AI Studio 界面中部署模型。

新加入集合的模型包括：

  • Llama 3 (Meta)
  • Mistral 7B (Mistral AI)
  • Command R Plus (Cohere for AI)
  • Qwen 1.5 110B (Qwen)
  • 来自 Hugging Face 社区的多种表现出色的微调模型，排名依据 Open LLM Leaderboard。

在 Azure 上使用 AMD MI300X 的硬件优化

Azure 已宣布基于 AMD Instinct MI300 GPU 的 Azure ND MI300X 虚拟机（VM）正式上线。Hugging Face 与 AMD 及 Microsoft 合作，优化这些 VM 上 Hugging Face 模型的性能和成本效益。

此优化通过开源库 Optimum-AMD 实现，该库提供 ROCm 集成，并在 AMD Instinct GPU 上持续测试模型和库，以确保高性能。

开放科学与本地推理的进展

Microsoft 继续通过在 Hugging Face Hub 上托管近 300 个模型（包括 MIT 许可证的 Phi-3 系列）为开放科学做出贡献。Phi-3 mini 模型拥有 38 亿参数，面向设备端应用，目前已在 Hugging Face Chat 中提供。

为促进本地推理，Hugging Face 与 Microsoft 正在通过 Transformers.js 和 ONNX Runtime Web 利用 WebGPU。此合作使得 Phi-3 等模型能够在浏览器本地运行；演示表明，Phi-3 在使用 WebGPU 时每秒可生成超过 70 个 token。

通过 Spaces Dev Mode 提升开发者体验

名为 Spaces Dev Mode 的新集成允许开发者将其 Hugging Face Spaces（已有超过 50 万个 AI 演示应用）直接连接到本地 VS Code 环境，或使用基于网页的 VS Code 实例。

Spaces Dev Mode 目前处于 beta 阶段，向 Hugging Face PRO 订阅者开放，旨在实现本地开发与云端 AI 演示之间更顺畅的切换。

Sources