microsoft/OpenRCA
[ICLR'25] OpenRCA: Can Large Language Models Locate the Root Cause of Software Failures?
解決する問題
OpenRCA は、大規模言語モデル(LLM)がソフトウェア障害の根本原因を実際に特定できるかを測定するという課題に取り組みます。実際の運用では、KPI、依存関係トレース、ログなどの大量のテレメトリデータを調べ、複雑なシステム依存関係を推論する必要があります。ほとんどのベンチマークはこの統合スキルをテストしないため、OpenRCA はモデルとエージェントがこのタスクでどれだけうまく機能するかを確認する標準的な方法を提供します。
仕組み
OpenRCA は、自然言語クエリとグラウンドトゥルースの根本原因レコードを含むデータセットを提供します。各クエリは、モデルに障害時間、障害コンポーネント、理由を特定するよう求めます。テレメトリデータはシステム(Telecom、Bank、Market)ごとに構造化され、ログ、メトリクス、トレースは日付ごとに保存されます。評価スクリプトを実行して、モデルの予測(JSON のような文字列)をグラウンドトゥルースと比較し、レポートを生成します。OpenRCA には、RCA-agent と呼ばれるベースラインエージェントも含まれています。RCA-agent は、生のテレメトリをモデルに直接入力する(非常に長いコンテキストを作成する)代わりに、Python コードを使用してデータを独自に取得および分析し、モデルが推論に集中できるようにします。エージェントは安全なサンドボックスで実行されます。診断ごとに新しい Docker コンテナ、ネットワークなし、読み取り専用ファイルシステム、リソース制限、ステップごとに 60 秒の期限です。セキュリティテストが含まれており、独自の API キーで論文の結果を再現できます。
対象読者
これは、IT 運用、サイト信頼性、自動デバッグのための LLM ベースのシステムを構築または評価する研究者やエンジニア向けです。テレメトリデータを処理するエージェントを開発している場合や、独自のモデルやエージェントを標準的な根本原因分析タスクのセットに対してベンチマークしたい場合に特に役立ちます。再構築ツールを使用すると、独自のテレメトリから新しいタスクを作成できるため、さまざまなソフトウェア環境に適応できます。
ハイライト
- 3 つの異なるソフトウェアシステム(Telecom、Bank、Market)からのテレメトリデータセットが含まれています。
- 「prediction」フィールドを持つ任意の予測形式を受け入れる評価ハーネスを提供するため、カスタムエージェントから結果を送信できます。
- ネットワークをブロックし、ファイルシステムアクセスを制限し、厳しいリソース制限を強制する強化された Docker サンドボックスを備えた、安全で再現可能なベースラインエージェント(RCA-agent)を提供します。
- サンドボックスの分離、シークレット保護、クリーンアップを検証するセキュリティ回帰テストが含まれています(一部のテストはフラグでオプトインが必要です)。
- タスク仕様 JSON ファイルを介して、ランダムクエリの再生成や独自のテレメトリからの完全に新しいタスクの構築をサポートします。
- タイムゾーンの整合(すべての障害は UTC+8)やサンプリング周波数の不一致などの一般的な落とし穴を文書化しており、偽陰性を回避するのに役立ちます。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト