Hugging Face：AI 与网络安全的未来
Hugging Face 主张，开源 AI 模型和透明的工具对于在自主 AI 网络安全系统时代实现攻击者与防御者之间的公平竞争至关重要。这种开放性提供了可视性、社区驱动的协作以及可审计的控制，能够抵御用于漏洞发现的前沿模型的能力。
Mythos 在 AI 网络安全中的角色
Mythos 是一种能够处理软件代码的前沿 AI 模型，但其主要意义在于其所嵌入的系统，而非模型本身。快速发现并修补软件漏洞的能力源自一种特定的“系统配方”，包括大量计算资源、在软件相关数据上训练的模型、用于漏洞探测和修补的支撑框架、速度以及一定程度的系统自主性。
关键要点包括：
- 系统中心能力：发现漏洞并构建补丁的能力取决于周边系统，而不仅仅是模型规模。
- 锯齿形能力：AI 网络安全性能并未随通用基准表现或模型规模线性增长；系统设计中的深度安全专业知识至关重要。
- 代理式 AI：Mythos 展示了 AI 系统能够自主采取行动解决软件漏洞的可行性。
开放性作为防御的结构性优势
开放生态系统通过在社区中分配软件安全的四个阶段——检测、验证、协作和补丁传播——相较于闭源项目提供了结构性优势。相反，闭源项目将这些功能集中在单一供应商手中，形成单点故障。
专有隐蔽性的衰退
Hugging Face 指出，专有隐蔽性（保持代码不可访问）正变得不再有效，因为 AI 系统日益能够逆向工程已剥离的二进制文件。这对仍然保持闭源且缺乏维护的遗留固件和嵌入式代码尤为危险，导致 AI 驱动的攻击者拥有一个庞大且易读的攻击面。
闭源系统中 AI 加速开发的风险
闭源代码库在使用 AI 编码工具且激励不当（例如优先考虑功能数量而非代码质量）时面临特定风险。这可能导致大量漏洞更快地被引入专有代码中。由于这些漏洞隐藏在单一组织的防火墙后，组织内部可能无法检测到，而外部的 AI 驱动攻击者却能发现它们。
实现半自主防御代理
为平衡收益与风险，Hugging Face 建议使用半自主 AI 代理而非完全自主系统。半自主代理在预先指定的操作下运行，并在某些步骤需要人工批准，从而确保人类保持控制权。
有效半自主系统的要求
要使“人在回路中”具有意义，系统必须透明。这需要：
- 开放的代理支撑框架：支持代理的框架必须是开放的。
- 开放的规则引擎：决定代理行为的逻辑必须透明。
- 可审计的日志：决策日志和追踪必须可供人工审查。
组织可以将这些 AI 代理与现有的开源安全工具集成，如模糊测试框架、入侵检测系统、漏洞扫描器和日志分析器。
对高风险组织的战略重要性
对于处理敏感数据和业务的组织而言，开放且可审计的基础至关重要，原因包括：
- 检查：安全团队可以检查监控机制，而不是依赖供应商的声明。
- 数据隐私：敏感信息无需通过外部 AI 提供商传输。
- 基础设施控制：开放系统可以完全在组织自有的基础设施内运行，置于自有防火墙后。
- 定制化：系统可以在组织自己的安全数据上进行微调，并修改以加入特定的监督机制。
结论：前进的道路
防御那些协同共享技术的攻击者需要转向透明的实践，包括共享漏洞数据库、开放的安全评审、已发布的威胁模型以及开源工具。Hugging Face 认为，AI 网络安全的未来将由围绕模型的生态系统决定，而非单一模型本身。