Hugging Face 與 JFrog 合作以提升 AI 模型安全性

Hugging Face 與 JFrog 合作，將 JFrog 掃描器整合到 Hugging Face Hub，提升平台偵測嵌入模型權重中的惡意程式碼的能力。此合作旨在透過減少誤報並擴大可偵測威脅的範圍，為機器學習社群提供更透明且安全的環境。

進階程式碼分析以減少誤報

JFrog 的掃描器透過超越簡單的模式匹配來改進現有的安全措施。儘管 Hugging Face 目前的 picklescan 工具會對模組名稱進行模式匹配，但它無法始終判斷特定函式或模組的使用是惡意的，還是無害的開發實務。

JFrog 的掃描器透過解析和分析模型權重內的程式碼來驗證潛在的惡意使用，以解決此問題。這種更深入的分析使平台能夠更準確地區分無害程式碼與實際的安全威脅，從而減少 Hub 上的誤報數量。

擴展序列化格式的威脅偵測

模型安全至關重要，因為用於存儲和傳輸權重、配置及資料結構的序列化格式可能容易受到利用。某些格式，例如 pickle，在反序列化或推理過程中可能允許任意程式碼執行。

JFrog 的整合擴展了平台的安全覆蓋範圍，以包含多種可利用的格式。具體來說，JFrog 掃描器能夠偵測以下格式的利用：

  • Pickle files：防止任意程式碼執行。
  • Keras Lambda layers：偵測允許任意程式碼執行的利用。
  • Additional file formats：掃描器涵蓋更廣泛的格式，具體詳見 JFrog 的 Model Threats 研究。

自動整合與 Hub-wide 部署

Hugging Face Hub 上的所有公開模型儲存庫在檔案推送到平台時會由 JFrog 自動掃描。此整合無需使用者採取任何行動。

由於 Hub 裝載了數百萬個模型儲存庫，推出過程是逐步進行的。Hugging Face 已經掃描了數億個檔案，以確保社群能夠以安全且無摩擦的方式共享模型。

Sources