microsoft/AIOpsLab

何を解決するか

AIOpsLabは、自律型AIOpsエージェントの設計、開発、および評価のための標準化されたフレームワークを提供します。これは、クラウド環境の管理を担うAIエージェントに対して、マイクロサービスのデプロイ、障害注入、およびテレメトリ収集を自動化することにより、再現可能でスケーラブルなベンチマークを作成するという困難な課題に対処します。

仕組み

このフレームワークは、AIエージェントとシミュレーションまたはリモートのKubernetesクラスター間のオーケストレーターとして機能します。Helm chartsを使用してアプリケーションを自動的にデプロイし、特定の障害（設定ミスなど）を注入し、wrk2のようなツールを使用して合成ワークロードを生成できます。オーケストレーターはインタラクションループを管理します。エージェントに問題の記述とAPIを提供し、エージェントのアクションをセッショントレースに記録し、その後、組み込みの評価器を使用して定量的および定性的指標に基づいてエージェントのパフォーマンスを測定します。

対象者

• AI研究者: システム運用向けの自律型エージェントを構築しており、それらをベンチマークするための標準化された方法を必要としている人々。
• SREおよびDevOpsエンジニア: 障害の検出、特定、分析、および緩和のためのAI駆動型自動化をテストしたい専門家。
• ソフトウェア開発者: LLMベースの運用エージェントの限界をテストするために、カスタムのAIOps問題やアプリケーションを作成したいユーザー。

ハイライト

• エンドツーエンドの自動化: クラスターのプロビジョニング（Terraform/Ansible経由）から、ワークロード生成および障害注入まで、すべてを処理します。
• 柔軟なエージェントのオンボーディング: 非同期の get_action メソッドを持つPythonクラスでラップされたあらゆるエージェントを統合できます。
• 組み込みのベンチマークスイート: 検出、特定、分析、および緩和のタスクに焦点を当てた、定義済みの問題のレジストリが含まれています。
• マルチクラスターサポート: ローカルのシミュレーションクラスター（kind）、リモートのKubernetesクラスター、およびAzure VMと互換性があります。