Hugging Face 与 Protect AI 合作，为模型安全添加 Guardian 扫描器

TL;DR

Hugging Face 宣布与 Protect AI 建立合作，将 Protect AI 的 Guardian 扫描器集成到 Hub 中，自动检查每个公开模型是否存在危险的序列化漏洞，例如恶意 pickle 或 Keras Lambda 层。此举通过提供无摩擦的大规模代码执行威胁检测，提升整个机器学习社区的模型安全性。

模型安全回顾

Hugging Face 解释说，模型共享涉及序列化权重、配置和辅助数据结构。某些序列化格式——最著名的是 Python 的 pickle——容易受到任意代码执行攻击。其他格式也已被证明存在漏洞，例如可以执行恶意代码的 Keras Lambda 层。为降低这些风险，Hugging Face 之前发布了 picklescan 等工具，现在又加入了 Protect AI 的 Guardian 扫描器，该扫描器能够检测多种文件格式的漏洞。Guardian 的知识库会持续更新新签名，将防护范围从 pickle 扩展到其他易受攻击的格式。

集成细节

此次合作需要将 Guardian 作为第三方扫描器嵌入 Hub 的安全流水线。在此过程中，Hugging Face 重新设计了 Hub UI，以直接向用户展示扫描结果。新的 UI 元素包括：

  • 显示每个第三方扫描状态的列表视图。
  • 用于指示仓库整体安全扫描状态的横幅。
  • 当执行 pickle‑import 扫描时出现的专用 “Pickle” 按钮。

这些组件会自动出现，模型作者无需进行任何操作。文件一旦推送到公开仓库，Guardian 即会执行扫描，结果会在 UI 中展示。示例仓库 mcpotato/42-eicar-street 演示了该功能的实际效果。

规模与影响

Hugging Face 表示，已对 数亿个文件（覆盖 超过 100 万个模型仓库）完成扫描。虽然扫描积压导致部分新上传模型可能无法立即处理，但自动化系统确保了持续的、全社区的防护。通过降低安全模型共享的摩擦，这一合作旨在促进更安全的 AI 创新，并鼓励更广泛的生态系统参与。

如何参与

有意贡献扫描信息或加入安全合作的组织或个人，可通过 security@huggingface.co 与 Hugging Face 联系。Hub 安全的更多文档可在 https://huggingface.co/docs/hub/security 查看。

本文基于 Hugging Face 官方博客文章 “Hugging Face Teams Up with Protect AI: Enhancing Model Security for the ML Community”，发布时间为 2024‑10‑22。

Sources