itbench-hub/ITBench

何を解決するか

ITBench は、AIエージェントが複雑な現実世界のIT自動化タスクをどれだけうまく処理できるかを測定する標準化された方法を提供します。これは、サイト信頼性工学（SRE）、コンプライアンスおよびセキュリティ（CISO）、財務運用（FinOps）向けに設計されたエージェントのテストに、現実的な環境が不足している問題に対処しています。

仕組み

このプロジェクトは、Kubernetesベースの環境を使用して、現実的なITインシデントやシナリオを再現します。これらの環境をセットアップするためのボタン1つで実行可能なツールキットと、シナリオを実行するためのフレームワークを提供します。ユーザーは、サービスの高エラーレートの修正やコンプライアンスポジションの評価などの問題を解決するためにエージェントをデプロイでき、そのパフォーマンスは管理されたリーダーボードで追跡されます。

対象ユーザー

企業向けIT自動化用のAIエージェントを開発している研究者や開発者、特に信頼性、セキュリティ、コスト最適化に焦点を当てた人々に向けられています。

特徴

• 企業向け: SRE、CISO、FinOps の3つの重要なIT分野をカバー。
• Kubernetesネイティブ: Kubernetesを使用して現実の運用環境をシミュレート。
• リファレンスエージェント: CrewAIフレームワークで構築されたオープンソースのベースラインエージェントを含む。
• 管理された評価: シナリオのデプロイとエージェント評価を完全に管理するプラットフォームを提供。