rerun-io/rerun

Visualize, query, and stream to train on multimodal robotics data.

What it solves

Rerun はマルチモーダルデータ向けのビジュアルかつ時間的デバッガーです。テキストログだけでは不十分な、複雑な AI やロボティクスシステムのデバッグ問題を解決します。単なるログに頼るのではなく、開発者はロボットの内部表現（カメラ映像、LiDAR スキャン、3D マップなど）が時間とともにどのように変化するかを可視化でき、システムが失敗する正確なタイミングと原因を特定できます。

How it works

Rust で構築され、専用のカラム‑チャンクストレージシステムを使用する Rerun は、ロボットログ、シミュレーション、ウェブ動画など様々なソースから、画像、点群、テンソル、ジョイント状態などのマルチレート・マルチモーダルデータを取り込みます。Python、Rust、C++ 用 SDK を提供しデータを記録でき、専用ビューアがこれらのストリームをリアルタイムで同期描画します。データは DataFrame や SQL でもクエリ可能で、開発者はトレーニングや評価用のクリーンなデータセットを簡単に抽出できます。

Who it’s for

センサーや時間とともに変化する 2D/3D 状態を扱う開発者、特にロボティクス、コンピュータビジョン、シミュレーション分野の方を対象としています。

Highlights

  • Multimodal Support: Handles images, point clouds, time series, tensors, transforms, and joint states.
  • Temporal Debugging: A built-in viewer allows users to scrub through episodes and compare sensors side-by-side.
  • Training Integration: Data can be streamed directly into training pipelines without the need for export jobs.
  • Cross-Language SDKs: Full support for Python, Rust, and C++.
  • Flexible Ingestion: Compatible with formats like MCAP and LeRobot.