erwinmsmith/SOMAS

解决的问题

SOMAS 解决了在安全性和可靠性至关重要的高风险危机响应场景中部署多智能体系统的挑战。它提供了一个在任务完成与严格安全护栏之间取得平衡的框架，确保 AI 智能体在与人类协作时能够负责任地行动。

工作原理

该框架以两种主要模式运行：在线执行系统和离线模拟系统。在线系统使用集成了基于 GPT-4 的风险评估的规划-执行流水线，以实时监控和引导智能体行为。离线系统专注于训练和优化，利用合成任务生成和经验回放来改进强化学习策略，从而实现更安全的决策。

适用对象

该项目专为构建安全关键型 AI 应用的研究人员和开发人员设计，特别适用于关注应急或危机管理环境中人机协作的领域。

亮点

• 双模式架构，支持实时任务执行和离线模拟训练。
• 包含一个经过微调的安全 LLM 和一个专门针对紧急情况的数据集。
• 与基准模型相比，在有用性方面提高了 15%，风险响应率降低了 40%。
• 实现了动态信任机制，利用强化学习权衡任务效用与安全约束。