Hugging Face 與 IBM 的 watsonx.ai 合作夥伴關係

Hugging Face 與 IBM 合作，將 Hugging Face 的開源函式庫與模型整合至 watsonx.ai，這是一個企業 AI 工作室，旨在訓練、驗證、微調與部署傳統機器學習與生成式 AI 功能。此合作讓企業使用者能在受管理的環境中，利用龐大的預訓練模型生態系與社群驅動工具，並支援雲端與本地部署。

企業 AI 需求與標準化的角色

企業採用 AI 的動力在於需要針對特定公司資料與計算預算量身打造的專屬模型，而非單一通用模型。大型組織通常需要在不同事業單位部署數百甚至數千個模型，因而必須採取標準化的訓練與部署方式，以免為每個專案從頭建置基礎設施。

標準化由以下三大驅動因素促成：

  • Model Architecture: Transformer 架構已成為自然語言處理、電腦視覺與音訊/語音等深度學習應用的事實標準。
  • Pre-trained Models: 可取得數十萬個預訓練模型，使開發者能快速篩選出有潛力的候選模型。
  • Open-source Libraries: 社群驅動的工具允許僅以一行程式碼下載與試驗模型，確保從本機開發到生產環境的一致性。

watsonx.ai 技術整合

watsonx.ai 基於 RedHat OpenShift 建置，使其可在雲端與本地部署。對於有嚴格合規規範或偏好將機密資料保留於自有基礎設施的組織而言，這提供了關鍵的替代方案，免除自行從頭構建內部機器學習平台的需求。

在技術層面，watsonx.ai 整合了多個核心 Hugging Face 開源函式庫，以支援其底層功能：

  • transformers: 主要用於下載與使用預訓練模型的函式庫。
  • accelerate: 用於最佳化硬體與訓練效能的函式庫。
  • e
  • Text Generation Inference (TGI): 用於最佳化模型部署的伺服器。

AI 建構者的策略意涵

此合作讓 Hugging Face 的客戶能在 IBM 平台上原生使用其模型與資料集。此外，IBM 正在開發自家的大型語言模型 (LLMs) 系列，未來將開源並上架至 Hugging Face Hub，為更廣大的 AI 社群擴充基礎模型的可用池。

Sources