Jwuthri/Tracely-ai

何を解決するか

Tracely は AI エージェント向けのトレースネイティブ CI/CD システムで、本番環境での失敗をレグレッションテストに変換します。手動でデータセットを構築する必要がなく、本番環境から発生した実際の失敗トレースを、完全に隔離された再実行可能なテストケースに昇格させ、レグレッションが再発した場合にプルリクエストをブロックできます。

動作方法

Tracely は OTLP/HTTP を通じてエージェントのトレースを収集し、会話とターンごとに整理します。オンライン評価者（LLM-as-judge や構造的チェック）を使用して実行を評価し、類似した失敗を問題としてクラスタリングします。失敗が検出されると、「失敗から成功への契約（fail-to-pass contract）」によりレグレッションケースに昇格できます。これらのケースは、記録されたフィクスチャ（ツールやLLMの出力を固定）を使用してCI/CDパイプラインで再実行され、APIコストを回避し、非決定性を排除します。または、ライブ呼び出しによりエージェントの振る舞いが修正されているかを確認します。

対象ユーザー

本番環境のリアルデータに基づいた厳密な自動テストとゲート処理を求める、複雑なAIエージェントシステムを開発・維持する開発者。

主な特徴

• トレースからテストへの昇格: 1クリックで本番環境での失敗トレースをレグレッションテストに変換。
• 完全に隔離された再実行: 記録されたツールおよびLLM出力をフィクスチャとして使用し、CIでテストを決定論的に再実行。APIコストと非決定性を回避。
• CIゲート: GitHub Actionsと統合し、既知の失敗を再発させたPRをブロック。
• 失敗のクラスタリング: 類似した失敗実行を意味的・構造的に問題として自動グループ化し、トライエージのノイズを削減。
• 視覚的デバッグ: ワーターフォールトレースビューと「Fleet」ビュー（会話をピクセルアートのオフィスとしてレンダリング）を提供し、マルチエージェントシステムの説明を容易に。
• 自動アラート: LLMステップとWebhookを含む複雑なアラートルールを作成するための視覚的フロービルダー。