rerun: 物理 AI 和机器人技术的多模态数据层与可视化调试器

它解决了什么问题

Rerun 是一个用于多模态数据的可视化和时序调试器。它解决了在复杂的 AI 和机器人系统中，仅靠文本日志不足以进行调试的问题。开发者不再依赖简单的日志，而是可以可视化机器人对世界的内部表示——例如摄像头画面、lidar 扫描和 3D 地图——是如何随时间演变的，从而能够精确地定位系统在何时以及为何发生故障。

工作原理

Rerun 使用 Rust 构建，采用专门设计的列块存储系统，可以从机器人日志、仿真和网络视频等各种来源摄取多速率、多模态数据（包括图像、点云、张量和关节状态）。它提供 Python、Rust 和 C++ SDK 来记录数据，并提供一个专门的查看器，实时同步渲染这些数据流。数据还可以通过 dataframes 或 SQL 进行查询，这使得开发者能够提取干净的数据集用于训练和评估。

适用人群

它是为处理传感器、随时间演变的 2D/3D 状态的开发者设计的，特别是机器人、计算机视觉和仿真领域的开发者。

亮点

• 多模态支持：处理图像、点云、时间序列、张量、变换和关节状态。
• 时序调试：内置查看器允许用户在片段中前后拖动，并并排比较传感器数据。
• 训练集成：数据可以直接流式传输到训练流水线中，无需导出任务。
• 跨语言 SDK：全面支持 Python、Rust 和 C++。
• 灵活的摄取：兼容 MCAP 和 LeRobot 等格式。