rerun-io/rerun
Visualize, query, and stream to train on multimodal robotics data.
What it solves
Rerun 是一個針對多模態資料的視覺與時間除錯器。它解決了在複雜 AI 與機器人系統中，文字日誌不足以除錯的問題。開發者不再只依賴簡單的日誌，而是可以視覺化機器人對世界的內部表徵——例如相機畫面、雷射掃描與 3D 地圖——隨時間的演變，從而精確找出系統失效的時間點與原因。
How it works
使用 Rust 建置、以專為欄位‑區塊儲存系統設計的 Rerun，能夠從機器人日誌、模擬、網路影片等多種來源，攝取多頻率、多模態資料（包括影像、點雲、張量與關節狀態）。它提供 Python、Rust 與 C++ SDK 供記錄資料，並有專屬的檢視器即時同步渲染這些串流。資料同時支援以 DataFrame 或 SQL 方式查詢，讓開發者能輕鬆抽取乾淨的資料集作為訓練與評估使用。
Who it’s for
此工具設計給處理感測器、隨時間演變的 2D/3D 狀態的開發者，特別是從事機器人、電腦視覺與模擬領域的人員。
Highlights
- Multimodal Support: Handles images, point clouds, time series, tensors, transforms, and joint states.
- Temporal Debugging: A built-in viewer allows users to scrub through episodes and compare sensors side-by-side.
- Training Integration: Data can be streamed directly into training pipelines without the need for export jobs.
- Cross-Language SDKs: Full support for Python, Rust, and C++.
- Flexible Ingestion: Compatible with formats like MCAP and LeRobot.