papercomputeco/tapes
Transparent telemetry collector for hi-fidelity agent traces
何を解決するか
Tapes は AI エージェントと LLM の相互作用をキャプチャ、保存、分析する方法を提供します。ブラックボックスなエージェントワークフローの問題を、構造化されたセッション、トレース、スパンの履歴を通じてエージェントが結論に至った過程を明確に可視化することで解決します。
動作方法
システムは、原始的な LLM 相互作用の追加のみ可能なログを使用します。その後、「デリバーワークフロー」プロセスがこれらの原始ログを、セッション、トレース、スパンからなる構造化された読み取りモデルに変換します。このプロセスは同一性と決定論的であり、同じ入力は常に同じ構造化出力を生成します。
内部的には、証明可能性と重複排除のためにコンテンツアドレス指定（Merkle ノード）を使用しています。ユーザーはプロキシ経由でデータをキャプチャし、専用 API を通じて結果を照会でき、スパン単位での意味的検索と JSONL によるエクスポートをサポートしています。
対象ユーザー
エージェントセッションの永続的保存と、OpenTelemetry互換モデルを用いたエージェントワークフローのインストルメンテーションおよびデバッグが必要な開発者。
主な特徴
- 不変のキャプチャ: すべての相互作用が追加のみ可能な原始ログに永続化されます。
- 決定論的投影: 原始ログが再現可能なセッション/トレース/スパンモデルに変換されます。
- OpenTelemetry インストルメンテーション: エージェントテレメトリ用の即時接続型インストルメンテーション。
- 意味的検索: スパン粒度での意味的検索が可能。
- ローカルファースト設定: Docker による簡単なデプロイ。組み込みの PostgreSQL と Ollama サポート付き。
関連
- プロジェクト
monocle2ai/monocleMonocleはApache-2.0ライセンスのPython SDKで、GenAIアプリおよびエージェントにOpenTelemetry互換のトレーシングを追加します。LangChain、LlamaIndex、Haystack、Google ADK、Claude CLIなど人気のフレームワークを自動インストルメントし、プロンプト、LLM呼び出し、ツール使用、ベクトルクエリの構造化されたスパンを発行し、任意のOTLPコレクタやローカルJSONファイルと統合できます。コンパニオンパッケージの`monocle-test-tools`を使えば、エージェント実行、ツール呼び出し、トークン／コスト制限、評価事実などに対してアサーションを行うpytestスタイルのテストが書けます。メタモデル、スコープヘルパーによるスパンタグ付け、組み込みのシークレットオブスカレーション、ゼロコードラッパーモード、VS Codeビジュアライザー統合、広範なエクスポート先（ファイル、stdout、S3、Azure Blob、Okahuクラウド、PostgreSQL、ClickHouse）を備えています。エージェントのデバッグ、コスト監視、CIテスト、AIエージェントのプラットフォームレベルの観測性に最適です。
- プロジェクト
superloglabs/superlogOpenTelemetry データをインジェストし、ノイズの多い信号をインシデントにグループ化して、本番環境のデバッグを容易にするオープンソースの自律型テレメトリシステムです。
- プロジェクト
truera/trulensLLMジャッジを使用してエージェントの失敗をトレースし、AIアプリケーションのコストと品質のトレードオフを最適化する、OpenTelemetryネイティブの評価および可観測性フレームワーク。
- プロジェクト
lmnr-ai/lmnrLaminarは、AIエージェント向けのオープンソース可観測性プラットフォームであり、自動トレース、評価ツール、リアルタイム監視を提供し、開発者がエージェントのパフォーマンスをデバッグおよび最適化できるよう支援します。
- プロジェクト