zsibot/matrix

MATRiX is an advanced simulation platform that integrates MuJoCo, Unreal Engine 5, and CARLA to provide high-fidelity, interactive environments for robotics research.

解决的问题

MATRiX 是一个高保真机器人仿真平台,旨在弥合仿真环境与实际机器人部署之间的差距。它解决了机器人上手速度慢以及缺乏真实传感器数据的问题,提供统一的工作流,无需安装完整的 ROS 2 即可测试感知、SLAM 和运动控制。

工作原理

该平台结合了 Unreal Engine 5 的高保真渲染与 MuJoCo 的物理动力学。用户可通过 JSON 配置文件在运行时加载 MJCF/XML 格式的机器人模型,无需重新构建仿真器。它使用专用的 MuJoCo 工作线程以 500 Hz 的频率运行,实现高频率物理计算与控制。在数据通信方面,采用 Zenoh 通过网络流式传输 ROS 2 兼容的 CDR 消息(如 PointCloud2 和压缩图像),实现 ROS 兼容性,但无需依赖 ROS。

适用人群

  • 机器人研究人员:从事感知、SLAM、传感器融合和合成数据开发的人员
  • 控制工程师:从事运动控制、全身控制和强化学习的人员
  • 系统集成人员:在部署到物理硬件前集成外部控制器的开发者
  • 演示开发人员:需要多场景测试和通过 Pixel Streaming 2 实现浏览器端可视化的用户

主要亮点

  • 运行时机器人接入:无需重新构建仿真器,通过 JSON 配置即可加载和配置机器人与传感器
  • 校准感知能力:支持 RGB、红外、GPU 深度、鱼眼镜头和 LiDAR,并具备运动畸变建模能力
  • 开放数据通道:基于 Zenoh 的通信,支持 ROS 2 兼容的数据流传输
  • 灵活控制:内置运动控制功能,或通过共享内存硬件接口与外部控制器集成
  • 可扩展环境:支持 DLC 风格下载的动态地图目录,以及高斯点云渲染

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目