Hugging Face 与 TruffleHog 合作进行秘密扫描

Hugging Face 已与 Truffle Security 合作，将 TruffleHog（一个开源的秘密扫描工具）集成到其平台。此合作旨在防止在公共和私有仓库中意外泄露敏感信息，如凭据、令牌和加密密钥。

自动化安全扫描管道

Hugging Face 已将其自动化安全扫描管道扩展以包含用于秘密扫描的 TruffleHog。该平台现在对所有仓库和提交使用三种不同类型的扫描：

• Malware Scanning: 使用 ClamAV 检测已知的恶意软件签名。
• Pickle Scanning: 使用 picklescan 检测 pickle 文件中的恶意可执行代码。
• Pickle Scanning: 使用 picklescan 检测 pickle 文件中的恶意可执行代码。
• Secret Scanning: 使用 TruffleHog 在每次推送到仓库时，对每个新增或修改的文件运行 trufflehog filesystem 命令。

当检测到已验证的秘密时——即被确认能够对其提供方进行身份验证的秘密——Hugging Face 将通过电子邮件通知用户。该公司指出，未验证的秘密仍可能构成威胁，因为验证可能由于提供方停机等技术原因而失败。

TruffleHog 中的原生 Hugging Face 扫描器

TruffleHog 现在包含一个针对 Hugging Face 的原生集成，使用户和安全团队能够主动扫描其自身的账户数据。此集成可以扫描模型、数据集和 Spaces，以及相关的 Pull Requests（PR）和讨论。

扫描能力和限制

虽然原生扫描器可以针对特定用户、组织或单个模型、数据集和 Spaces 进行扫描，但它目前不扫描存储在 Large File Storage（LFS）中的文件。TruffleHog 团队正在开发对 LFS 的支持。

使用命令

用户可以使用以下命令扫描其账户数据：

• 用户级扫描: trufflehog huggingface --user <username>
• 组织级扫描: trufflehog huggingface --org <orgname>
• 组织和用户扫描: trufflehog huggingface --user <username> --org <orgname>
• 目标扫描: 诸如 --model <model_id>、--dataset <dataset_id> 或 --space <space_id> 之类的特定标志可用于扫描特定资产。

可选标志 --include-discussions 和 --include-prs 可用于扫描 Hugging Face 的讨论和 PR 评论。

可以通过 --token 标志进行身份验证，或通过设置 HUGGINGFACE_TOKEN 环境变量来处理身份验证。