traceroot-ai/traceroot

何を解決するか

TraceRoot は AI エージェント向けの観測性と自己改善ループを提供します。大量のプロダクショントレースを手動で調査して障害を特定する困難さ、幻覚やツール呼び出しの間でエラーの原因を特定する苦痛、そしてエージェントのパフォーマンスを時間とともに体系的に改善する方法の欠如という課題に対処します。

動作方法

TraceRoot は OpenTelemetry 互換の SDK を使用して LLM 呼び出し、エージェントの行動、ツールの使用をキャプチャします。"Detector"（LLM-as-judge 評価者）を用いて、幻覚、論理的失敗、セキュリティ違反を自動監視します。障害が検出されると、システムはプロダクションのソースコードと GitHub ヒストリを含むサンドボックスに接続するエージェント型デバッグプロセスを開始し、失敗したコード行を特定して検証済みの修正 PR を開きます。

対象ユーザー

LangChain、CrewAI、AutoGen、Pydantic AI などのフレームワークを使って AI エージェントを開発している開発者で、プロダクションのパフォーマンスを監視し、デバッグと改善サイクルを自動化したい人。

特徴

• エージェント型デバッグ: 失敗したコード行を自動的に特定し、GitHub コミットや PR と関連付けて修正 PR を開きます。
• LLM-as-Judge Detector: トレースを自動スクリーニングし、幻覚、ツールの失敗、意図のずれを検出します。
• クローズドループ改善: プロダクション障害をオフライン評価と修正の検証に使えるゴールデンデータセットに変換します。
• 広範な統合: LlamaIndex、DSPy、Vercel AI SDK などの幅広いエージェントフレームワークと OpenAI、Anthropic、Gemini などのモデルプロバイダーをサポートします。
• オープンソース: 完全にオープンソースで、任意のモデルプロバイダーに対応する BYOK（Bring Your Own Key）サポートを備えています。