SREGym/SREGym

解決する課題

SREGym は、サイト信頼性エンジニアリング（SRE）向けに設計された AI エージェントのための高忠実度ベンチマークプラットフォームを提供します。CPU 枯渇、TLS 不一致、ネットワークポリシーブロックなどの実際のクラウド障害を診断および緩和する能力を AI エージェントでテストできる、ライブで現実的な環境の欠如に対処します。

仕組み

このプラットフォームは、ライブシステム環境（自己管理または Kind を介してエミュレートされた Kubernetes クラスターを使用）を作成し、エージェントは分離された Docker コンテナにデプロイされます。これらのエージェントは、90 種類の SRE 問題を解決しようとし、診断と緩和の 2 つの主要な段階を経ます。システムは、ジャッジモデルを使用してエージェントのパフォーマンスを評価し、LiteLLM を介して幅広い LLM プロバイダーをサポートします（Ollama を介したローカルモデルも含む）。

対象読者

AIOps および SRE 向けの次世代 AI エージェントを構築する研究者や開発者、および複雑なクラウド環境での LLM ベースのトラブルシューティングツールの有効性を評価したい人向けに設計されています。

ハイライト

• 広範な問題セット： 90 の SRE 問題を含み、OS レベルの障害、準安定障害、および同時障害をカバーします。
• 実世界のシミュレーション： Cloudflare WAF 正規表現 CPU 枯渇や Reddit Pi-Day 障害などの注目度の高い障害をシミュレートします。
• 柔軟なインフラストラクチャ： リーダーボード級の結果のための完全な Kubernetes クラスターと、メモリ制約のあるローカル反復のための「スリム」プロファイルの両方をサポートします。
• 分離された実行： エージェントは、セキュリティを確保し、内部評価ロジックへのアクセスを防ぐために、ネットワークアクセスがフィルタリングされた強化された Docker コンテナで実行されます。