RiccardoBiosas/awesome-MLSecOps

解决的问题

MLSecOps（Machine Learning Security Operations）是将安全融入机器学习生命周期的每个阶段——从数据收集、模型开发到部署、监控和事件响应——的实践。该项目解决了缺乏单一、有组织的入口来查找AI安全相关开源工具、研究和学习材料的问题。它帮助从业者发现用于对抗性测试、隐私保护、供应链保护以及确保LLM应用和AI代理安全的资源。

工作原理

这是一个精选索引（“Awesome”列表），将数百个开源工具、框架、研究仓库和参考资料分组为清晰的类别。主要部分包括：

• 开源安全工具（模型和工件安全、对抗性ML测试、具身AI/机器人安全）
• LLM安全和红队工具（提示注入扫描器、越狱检测器）
• AI代理安全和恶意代理防御
• 隐私保护ML（差分隐私、加密计算）
• AI供应链安全（模型签名、SBOM生成）
• 威胁建模、攻击向量和MLOps基础设施漏洞
• 教育资源：博客、书籍、社区资源、信息图

该列表还推广了维护者的时事通讯“The MLSecOps Hacker”，该通讯发布关于模型序列化攻击和代理安全等主题的深入文章。

目标读者

安全工程师、ML从业者、开发人员、AI红队以及任何负责机器学习系统安全的人。无论您是在评估模型鲁棒性、测试LLM应用、审计数据隐私还是强化AI代理的运行时，该目录都为您提供了起点。维护者还鼓励贡献和社区参与。

亮点

• 全面覆盖：从模型序列化攻击到具身AI安全，目录涵盖了进攻性和防御性工具。
• 值得注意的条目包括ModelScan（模型序列化保护）、Garak（LLM漏洞扫描器）、Agent-Wiz（代理工作流的自动威胁建模）和Microsoft的Agent Governance Toolkit。
• 既包含成熟的库（Adversarial Robustness Toolbox、Foolbox、CleverHans），也包含较新的研究原型（BadVLA、Provael for robotics）。
• 资源分组以便快速导航，并明确注明项目是概念验证还是生产就绪。
• 积极维护：README显示最近的时事通讯文章和维护徽章，并有清晰的贡献指南。