louiszengCN/CarlaAir

CarlaAir: Fly Drones Inside a CARLA World!! A Unified Infrastructure for Air-Ground Embodied Intelligence

解决的问题

CARLA-Air 提供了一个统一的仿真基础设施,用于空中与地面的具身智能研究。它解决了在共享的高保真城市环境中模拟异构智能体(如无人机和自动驾驶汽车)时,传统多进程桥接联合仿真中常见的延迟和同步问题。

工作原理

该项目将 CARLA(用于城市驾驶与交通)和 AirSim(用于物理精确的多旋翼飞行)整合到一个 Unreal Engine 进程中。通过修改少量上游文件,实现了两个系统之间的绝对坐标对齐,并允许单个 Python 脚本同时控制两个 API。该架构确保环境变化(如天气)能实时影响空中和地面传感器,同时通信开销极低。

适用人群

专为从事空中-地面协作、具身导航(VLN/VLA)、多模态感知数据集采集以及联合空中-地面交互强化学习(RL)的研究人员和开发者设计。

主要亮点

  • 单进程组合:将 CARLA 和 AirSim 组合在一个进程中,彻底消除桥接延迟。
  • 同步传感器:支持最多 18 种传感器模态(包括 RGB、LiDAR 和语义分割),在空中与地面智能体之间实现对齐。
  • 零修改迁移:现有的 CARLA 和 AirSim Python 脚本及 ROS 2 节点无需任何代码更改即可运行。
  • 真实城市环境:包含 13 个城市地图,具备符合规则的交通系统和具有社会意识的行人。
  • 内置控制:在视口中直接提供 FPS 风格的无人机控制(WASD + 鼠标)。
  • ROS 2 集成:提供传感器桥接和 RViz 2 预设,支持 Humble 版本的开箱即用工作流。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目