Snorkel AI 與 Hugging Face 企業基礎模型整合

TL;DR

Snorkel AI 與 Hugging Face 合作，將 Hugging Face Inference Endpoints 整合至 Snorkel Flow 平台。此合作讓企業能夠存取龐大的開源基礎模型庫，並透過 Snorkel 的以資料為中心的程式化標記，將模型調整至特定商業使用情境，降低大規模模型的部署與微調成本與複雜度。

透過 Snorkel Flow 調整基礎模型

Snorkel Flow 讓企業能透過迭代的「偵測與校正」開發流程，將基礎模型調整至特定的生產使用情境。此工作流程從檢視所選基礎模型在公司資料上的「即時」預測開始，這些預測作為初始訓練標籤。

使用者會辨識模型的錯誤模式，並透過程式化標記進行校正，這包括使用啟發式或提示來更新訓練標籤。接著以這些更新後的標籤微調基礎模型，並重新評估。此循環持續進行，直至模型達到部署所需的品質。

Hugging Face 模型與基礎設施的整合

Snorkel AI 利用 Hugging Face 為使用者提供超過 150,000 個開源模型的存取，包括 BioBERT、SciBERT 等領域特定模型。此多樣性讓使用者能選擇最符合其特定商業需求的基礎模型，為初始預測與微調提供快速起點。

為了管理這些模型相關的基礎設施與成本，Snorkel AI 使用 Hugging Face Inference Endpoints。此服務提供多項關鍵技術優勢：

• 快速部署： 使用者只需點擊幾下即可建立模型 API，立即使用。
• 成本效益： 「暫停與恢復」功能讓 Snorkel 僅在客戶需要時啟動模型 API，閒置時則將其休眠。
• 彈性配置： 此服務提供雲端供應商選擇與安全等級的選項，以符合企業需求。

企業 AI 開發的影響

此合作解決了企業在採用基礎模型時面臨的主要障礙：自行部署的高成本、缺乏從頭訓練模型的資源，以及在未設治理的情況下將現成模型直接投入生產所帶來的風險。

透過結合 Snorkel 的自動化資料標記與 Hugging Face 的開源生態系，企業能在不需要大量手動微調資料集的情況下構建以資料為中心的 AI 應用。正如 Hugging Face 共同創辦人兼執行長 Clement Delangue 所言：

「有了 Snorkel AI 與 Hugging Face Inference Endpoints，企業將以開源為核心，加速其以資料為中心的 AI 應用。」

此整合讓組織在利用開源社群的進步同時，仍能掌控客戶體驗與針對其使用情境量身打造的解決方案。