SREGym/SREGym

Can AI agents resolve production incidents?

解决的问题

SREGym 为面向站点可靠性工程（SRE）的 AI 代理提供了一个高保真基准测试平台。它解决了缺乏实时、真实环境的问题，在这些环境中，AI 代理可以测试其诊断和缓解真实云故障（如 CPU 耗尽、TLS 不匹配和网络策略阻止）的能力。

工作原理

该平台创建实时系统环境（使用 Kubernetes 集群，可以是自管理的，也可以通过 Kind 模拟），代理部署在隔离的 Docker 容器中。这些代理尝试解决 90 个不同的 SRE 问题，经历两个主要阶段：诊断和缓解。系统使用评判模型来评估代理的性能，并通过 LiteLLM 支持广泛的 LLM 提供商，包括通过 Ollama 支持的本地模型。

适用对象

它专为构建下一代 AIOps 和 SRE AI 代理的研究人员和开发人员设计，也适用于那些希望在复杂云环境中评估基于 LLM 的故障排除工具有效性的人。

亮点

  • 广泛的问题集： 包含 90 个 SRE 问题，涵盖操作系统级故障、亚稳态故障和并发故障。
  • 真实世界模拟： 模拟高知名度故障，如 Cloudflare WAF 正则表达式 CPU 耗尽和 Reddit Pi-Day 故障。
  • 灵活的基础设施： 支持完整的 Kubernetes 集群以获得排行榜级结果，也支持“精简”配置文件以在内存受限的本地环境中进行迭代。
  • 隔离执行： 代理在加固的 Docker 容器中运行，并过滤网络访问，以确保安全并防止访问内部评分逻辑。

相关

  • 项目
    ServiceNow/BrowserGym

    BrowserGym 是一个开源 Python 库，通过 Playwright 将 Web 浏览转换为 Gymnasium 环境，使研究人员能够将基于 LLM 的代理接入 MiniWoB、WebArena、WorkArena 等多个 Web 自动化基准测试。它提供统一 API、模块化安装选项、Playwright 驱动的浏览器以及通过 `AbstractBrowserTask` 基类实现的易扩展性。生态系统包括用于大规模评估的 AgentLab 和可与 OpenAI 模型配合使用的演示代理。

  • 项目
    Purewhiter/mobilegym

    一个浏览器托管的移动仿真平台，为 GUI 代理研究提供可编程状态和确定性裁判，支持可扩展的 RL 训练和可验证评估。

  • Dispatch
    Engrim 1.3.0：适用于多模型 AI CLI 的本地优先 SQLite 内存引擎

    Engrim 1.3.0 引入了一个通用的、项目范围的 SQLite 内存存储，使开发者能够在不丢失上下文的情况下在 AI 编码助手之间切换，将重新加载成本降低了 99% 以上。

  • 项目
    nudgebee/nudgebee

    Nudgebee 是一个开源的 SRE 副驾驶，利用 LLM 驱动的分类和运行手册自动化，在 Kubernetes 和云环境中实现可观测性、事件响应和 FinOps 的自动化。

  • 项目
    IBM/AssetOpsBench

    AssetOpsBench 是一个开源基准/框架，用于构建、编排和评估基于大语言模型（LLM）的AI代理，这些代理处理工业资产管理系统数据（传感器、工单、故障模式等）。它提供领域特定的MCP工具服务器、多种ReAct风格代理后端、141+个真实场景，以及在KDD/AAAI/NeurIPS竞赛中使用的多维评估流水线。