rerun: 物理AIおよびロボティクス向けのマルチモーダル・データレイヤーおよびビジュアル・デバッガー

解決する課題

Rerunは、マルチモーダル・データのための視覚的かつ時間的なデバッガーです。テキストログだけでは不十分な、複雑なAIおよびロボティクス・システムのデバッグという問題を解決します。単純なログに頼る代わりに、開発者はカメラ映像、lidarスキャン、3Dマップなど、ロボットの世界に対する内部表現が時間の経過とともにどのように変化するかを可視化できるため、システムがいつ、なぜ失敗するのかを正確に特定できます。

仕組み

Rustで構築され、専用の列チャンク・ストレージ・システムを使用するRerunは、ロボットのログ、シミュレーション、ウェブビデオなどのさまざまなソースから、マルチレートのマルチモーダル・データ（画像、ポイントクラウド、テンソル、ジョイント・ステートを含む）を取り込みます。データをログに記録するためのPython、Rust、およびC++ SDKを提供し、これらのストリームをリアルタイムで同期してレンダリングする専用のビューアーを提供します。また、データはデータフレームやSQLを介してクエリが可能であり、開発者はトレーニングと評価のためのクリーンなデータセットを抽出できます。

対象ユーザー

センサー、時間の経過とともに変化する2D/3D状態を扱う開発者、特にロボティクス、コンピュータビジョン、およびシミュレーションの分野の方向けに設計されています。

ハイライト

• マルチモーダル対応: 画像、ポイントクラウド、時系列、テンソル、変換、およびジョイント・ステートを扱います。
• 時間的デバッグ: 内蔵のビューアーにより、ユーザーはエピソードをスクラブしてセンサーを並べて比較できます。
• トレーニング統合: エクスポート・ジョブの必要なしに、データをトレーニング・パイプラインに直接ストリーミングできます。
• クロスランゲージSDK: Python、Rust、およびC++をフルサポートしています。
• 柔軟なインジェクション: MCAPやLeRobotのようなフォーマットと互換性があります。