OpenAI 使用 AI 打击国家关联的威胁行为者
OpenAI 已终止了五名试图利用其 AI 服务进行恶意网络活动的国家关联威胁行为者的账户。这些发现表明，尽管国家行为者正尝试利用 AI，但相较于现有的非 AI 驱动工具，当前模型在网络安全任务上仅提供有限的、渐进的能力。
打击国家关联行为者
OpenAI 与 Microsoft Threat Intelligence 识别并打击了五个特定的国家关联行为者。受影响的账户在以下组织中被终止：
- 中国: Charcoal Typhoon and Salmon Typhoon
- 伊朗: Crimson Sandstorm
- 北朝鲜: Emerald Sleet
- 俄罗斯: Forest Blizzard
这些行为者主要使用 OpenAI 服务进行基础任务，如查询开源信息、翻译、查找代码错误以及执行基本的编码任务。
具体行为者活动
每个组织利用 AI 工具实现不同的战略目标：
- Charcoal Typhoon: 专注于研究公司和网络安全工具、调试代码、生成脚本以及为网络钓鱼活动创建内容。
- Salmon Typhoon: 使用服务翻译技术论文、检索情报机构和地区威胁行为者的公开信息、协助编码，并研究系统上隐藏进程的方法。
- Crimson Sandstorm: 利用平台进行应用和网页开发脚本支持、生成鱼叉式网络钓鱼内容，以及研究恶意软件检测规避。
- Emerald Sleet: 确定亚太地区的防御专家和组织、研究公开漏洞、执行基础脚本编写，并起草网络钓鱼内容。
- Forest Blizzard: 主要进行关于雷达成像技术和卫星通信协议的开源研究，并提供脚本支持。
AI 在网络安全任务中的能力
此次打击的发现与 OpenAI 及外部专家之前进行的红队评估相吻合。这些评估得出结论，GPT-4 在恶意网络安全任务上仅提供有限的、渐进的能力，且并未超出公开可用的非 AI 驱动工具已能实现的范围。
OpenAI 的多管齐下安全策略
为应对日益演变的国家关联滥用威胁，OpenAI 采用了四部分的安全框架：
监控与打击
OpenAI 动用专门的情报与调查、安全、安保以及完整性团队来识别复杂的威胁行为者。这些团队使用 OpenAI 自有模型分析对手交互并评估其意图。被检测到的行为者将面临账户禁用、服务终止或资源限制。
生态系统合作
OpenAI 与行业合作伙伴和利益相关者合作，交流关于国家关联行为者使用 AI 的检测信息。此举是自愿承诺的一部分，旨在促进 AI 技术的安全与透明发展。
迭代安全缓解措施
真实世界的滥用数据用于指导安全防护的迭代开发。通过分析复杂行为者如何尝试滥用系统，OpenAI 识别可能广泛出现的模式，从而持续演进模型防护措施。
公开透明
OpenAI 保持在必要时向公众和利益相关者通报检测到的恶意国家关联活动的性质和范围的政策。其目标是促进集体防御并提升所有利益相关者的认知。