NVIDIA/IsaacCapture
The unified framework for sim & real robot teleoperation
解决的问题
它通过提供一个用于收集高保真人类演示数据的统一框架，解决了机器人学习中的数据瓶颈，简化了设备集成方式，并确保了不同机器人之间的数据互操作性。
运作方式
Isaac Teleop 提供了一个标准化的设备接口和一个灵活的重定向框架，适用于模拟和现实世界的远程操作。它允许用户使用各种硬件（例如 XR 头戴式设备和手套）来捕捉自我中心和机器人数据，以控制如夹爪手或全身移动操作器等机器人。
目标对象
需要通过人类远程操作在模拟和现实中收集高质量机器人学习训练数据的机器人研究人员与开发者。
特点
- 用于模拟和现实世界远程操作的统一堆栈。
- 标准化的设备接口以简化硬件集成。
- 用于将人类动作映射到机器人动作的灵活重定向框架。
- 支持多种使用案例，包括基于 XR 的操作和全身移动操作。
相关
- 项目
droidrun/mobile-harnessMobile Harness 是一个基于 Python、由 Markdown 驱动的库，允许 LLM 代理控制 Android 和 iOS 设备（通过 ADB/Portal 本地控制，或通过 Mobilerun 云远程控制）。它提供了统一的 API，用于 UI 交互、截图、应用启动和可访问性树查询，并包含基准测试，显示在 AndroidWorld 和 iOSWorld 任务套件上接近完美的性能。
- 项目
- 项目
Qpu523/VPSCI-DatasetVPSCI 是一个大型、高分辨率的车辆与行人近乎碰撞（near-miss）交互数据集，通过 CARLA 模拟器中的三阶段强化学习流程生成。它包含横跨八个路口场景的约 198,000 个片段（episodes），并提供 20 Hz 记录的 CSV 文件和支持的视频。人类研究显示，生成的交互场景与真实世界影像无法区分，使其成为自动驾驶安全研究的宝贵数据集。
- 项目
kesai-labs/py123dpy123d 是一个 Python 库，通过将 Argoverse 2、nuScenes、Waymo、nuPlan 等多个自动驾驶数据集统一转换为快速、零拷贝的 Apache Arrow 格式，并提供摄像头、激光雷达、地图和标签的单一 API。它包含用于下载和转换数据的 CLI 工具、基于 Hydra 的管道以及交互式 3D 查看器。通过 `pip install py123d`（可选依赖项支持各数据集）安装，并使用提供的命令获取、转换和可视化数据。