unitreerobotics/xr_teleoperate

解决的问题

本项目提供了一个使用扩展现实 (XR) 设备远程操控 Unitree 人形机器人的系统。它允许操作人员实时控制机器人的手臂和灵巧手，提供第一人称视角，并能够记录远程操作数据以用于模仿学习。

工作原理

该系统将 XR 头显（如 Apple Vision Pro、Meta Quest 3 或 PICO 4 Ultra）连接到主机计算机和机器人。它使用基于 Web 的界面 (Vuer) 和 WebRTC，实现从机器人头部摄像头到操作人员的低延迟图像流传输。操作人员的动作通过 XR 设备的手部或控制器追踪进行追踪，然后映射到机器人的自由度 (DoF)，并通过 unitree_sdk2_python 库作为控制命令发送。

适用对象

拥有 Unitree 人形机器人（如 G1、H1、H2 或 R1）并希望进行精确远程控制或为 AI 训练收集高质量演示数据的机器人开发人员和研究人员。

亮点

• 广泛的硬件支持：兼容多种 Unitree 人形机器人型号（G1、H1、H2、R1）以及包括灵巧手（Dex1-1、Dex3-1、BrainCo）在内的各种末端执行器。
• XR 集成：支持多种高端 XR 头显，实现沉浸式第一人称控制。
• 数据采集：内置记录模式，用于为模仿学习任务保存远程操作片段。
• 灵活的控制模式：提供手部追踪和控制器追踪两种输入模式，以及沉浸式、第一人称 (ego) 和透视 (pass-through) 显示模式。