rerun-io/rerun

What it solves

Rerun 是多模态数据的视觉和时序调试器。它解决了理解和改进复杂过程的问题——例如机器人学、计算机视觉和仿真中的过程——在这些领域中，传统的文本日志或标准调试器无法解释系统为何失败（例如：为什么机器人认为墙壁是门）。

How it works

它作为一个数据层，从机器人日志、仿真和网络视频等各种来源摄取多速率、多模态数据（包括图像、点云、张量和关节状态）。这些数据存储在一个使用 Rust 构建的共享列式存储系统中，这使得数据可以通过数据框或 SQL 进行查询，并直接流式传输到训练流水线中。内置的查看器同步且实时地渲染这些流，允许用户通过时间轴回溯并并排比较传感器数据。

Who it’s for

它是为处理传感器、随时间演变的 2D/3D 状态以及物理 AI 的开发者和研究人员设计的，特别是在机器人学、仿真和计算机视觉领域的从业者。

Highlights

• Multimodal Support: 处理图像、点云、时间序列、张量、变换和关节状态。
• Time-Aware Database: 包括一个查看器，允许用户回溯时间以精确查明故障发生的具体时间和原因。
• Direct Training Integration: 直接将数据集混合物流式传输到训练，消除了对导出作业或陈旧副本的需求。
• Cross-Language SDKs: 提供 Python、Rust 和 C++ 的 SDK。
• Queryable Storage: 数据可以使用数据框或 SQL 进行查询。