Hugging Face 与 JFrog 合作以增强 AI 模型安全

Hugging Face 已与 JFrog 合作，将 JFrog 扫描器集成到 Hugging Face Hub，以增强平台检测嵌入模型权重中的恶意代码的能力。此次合作旨在通过减少误报和扩大可检测威胁的范围，为机器学习社区提供更透明、更安全的环境。

高级代码分析以减少误报

JFrog 的扫描器通过超越简单的模式匹配来改进现有的安全措施。虽然 Hugging Face 当前的 picklescan 工具对模块名称进行模式匹配，但它并不总是能够判断特定函数或模块的使用是恶意的还是无害的开发实践。

JFrog 的扫描器通过解析和分析模型权重内的代码来验证潜在的恶意使用，从而解决此问题。这种更深入的分析使平台能够更准确地区分良性代码和实际安全威胁，从而减少 Hub 上的误报数量。

扩展序列化格式的威胁检测

模型安全至关重要，因为用于存储和传输权重、配置和数据结构的序列化格式可能容易受到利用。某些格式，例如 pickle，在反序列化或推理过程中可能允许任意代码执行。

JFrog 的集成扩展了平台的安全覆盖范围，以包括多种可利用的格式。具体而言，JFrog 扫描器能够检测以下格式中的利用：

• Pickle files：防止任意代码执行。
• Keras Lambda 层：检测允许任意代码执行的利用。
• 其他文件格式：扫描器覆盖了更广泛的格式，具体详见 JFrog 的模型威胁研究。

自动集成和 Hub 范围部署

Hugging Face Hub 上的所有公开模型仓库在文件推送到平台时会自动由 JFrog 扫描。此集成无需用户采取任何行动。

由于 Hub 托管了数百万个模型仓库，因此推出是逐步进行的。Hugging Face 已经扫描了数亿个文件，以确保社区能够以安全且无摩擦的方式共享模型。