Hugging Face 與 Microsoft 戰略合作更新 2024 年 5 月

在 Azure AI Studio 中擴大開放模型存取

Microsoft Azure AI Studio 現已提供擴充的 Hugging Face 集合，讓使用者只需點擊即可部署多個高效能的開放大型語言模型（LLM）。此整合使 Azure AI 客戶能直接從 Hugging Face Hub 或在 Azure AI Studio 介面中部署模型。

新加入集合的模型包括：

• Llama 3 (Meta)
• Mistral 7B (Mistral AI)
• Command R Plus (Cohere for AI)
• Qwen 1.5 110B (Qwen)
• 各種在 Open LLM Leaderboard 上排名最高的 Hugging Face 社群微調模型

在 Azure 上的 AMD MI300X 硬體最佳化

Azure 宣布 Azure ND MI300X 虛擬機（VM）正式上市，該機採用 AMD Instinct MI300 GPU。Hugging Face 與 AMD 及 Microsoft 合作，優化 Hugging Face 模型在這些 VM 上的效能與成本效益。

此最佳化透過開源函式庫 Optimum-AMD 完成，該函式庫提供 ROCm 整合，並持續在 AMD Instinct GPU 上測試模型與函式庫，以確保高效能。

開放科學與本地推論的進展

Microsoft 持續透過在 Hugging Face Hub 上託管近 300 個模型（包括 MIT 授權的 Phi-3 系列）來推動開放科學。Phi-3 mini 模型擁有 38 億參數，專為裝置端應用設計，並已在 Hugging Face Chat 中提供。

為了促進本地推論，Hugging Face 與 Microsoft 正透過 Transformers.js 與 ONNX Runtime Web 利用 WebGPU。此合作使 Phi-3 等模型能在瀏覽器本地執行；示範顯示 Phi-3 在使用 WebGPU 時每秒可產生超過 70 個 token。

透過 Spaces Dev Mode 強化開發者體驗

名為 Spaces Dev Mode 的新整合讓開發者能將其 Hugging Face Spaces（其中有超過 50 萬個 AI 示範應用）直接連接至本機 VS Code 環境，或使用網頁託管的 VS Code 實例。

Spaces Dev Mode 目前處於測試階段，供 Hugging Face PRO 訂閱者使用，旨在打造本機開發與雲端 AI 示範之間更順暢的切換體驗。