rerun: 實體 AI 與機器人技術的多模態數據層與視覺化除錯器

它解決了什麼問題

Rerun 是一個針對多模態數據的視覺化與時序除錯器。它解決了在複雜的 AI 與機器人系統中，僅靠文字日誌不足以進行除錯的問題。開發者不再需要依賴簡單的日誌，而是可以視覺化機器人對世界的內部表示——例如攝影機畫面、lidar 掃描與 3D 地圖——如何隨時間演變，從而精確地找出系統失效的確切時間與原因。

運作原理

Rerun 使用 Rust 編寫，並採用專為特定用途設計的 column-chunk 儲存系統，能從機器人日誌、模擬器與網路影片等各種來源攝取多速率、多模態的數據（包括影像、點雲、tensors 與關節狀態）。它提供 Python、Rust 與 C++ SDK 來記錄數據，並提供專用的查看器來即時同步渲染這些串流。數據也可以透過 dataframes 或 SQL 進行查詢，讓開發者能提取乾淨的數據集用於訓練與評估。

目標對象

它是為處理感測器、隨時間演變的 2D/3D 狀態的開發者所設計，特別是機器人技術、電腦視覺與模擬領域的開發者。

重點功能

• 多模態支援：處理影像、點雲、時間序列、tensors、變換（transforms）與關節狀態。
• 時序除錯：內建的查看器允許使用者在片段中進行捲動，並並排比較感測器數據。
• 訓練整合：數據可以直接串流到訓練流程中，無需執行匯出作業。
• 跨語言 SDK：完整支援 Python、Rust 與 C++。
• 彈性攝取：相容於 MCAP 與 LeRobot 等格式。