physical-superintelligence-lab/Psi0

解决的问题

Psi0 是一个专为灵巧人形机器人运动-操作一体化（loco-manipulation）设计的开源视觉-语言-动作（VLA）模型。它通过利用大规模人类第一人称视频数据和少量机器人专用数据，解决了人形机器人执行需要移动（运动）和精确手部操作（灵巧性）的复杂、长时程任务的挑战。

工作原理

Psi0 采用分层架构，将视觉和语言指令转化为物理动作：

• System-2（视觉-语言骨干）： 基于 Qwen3-VL-2B-Instruct，该组件从视觉观测和文本指令中提取高层次语义特征。
• System-1（动作专家）： 一个约 5 亿参数的多模态扩散变换器，接收 System-2 的特征并预测未来的全身动作块。
• System-0（跟踪控制器）： 基于强化学习的控制器，执行预测的下肢指令，确保物理运动的稳定性。

模型首先在大规模人类第一人称视频上进行预训练，以学习任务语义和视觉表征，然后在真实世界的远程操控机器人数据上进行后训练，以学习机器人身体的特定动力学特性。

适用人群

本项目面向使用人形机器人（特别是 Unitree G1）的机器人研究人员和开发者，以及对全身控制 VLA 模型感兴趣的人群。

主要亮点

• 高效微调： 仅需 80 条轨迹即可学习新的灵巧运动-操作技能。
• 混合架构： 结合 VLM 骨干与扩散变换器进行动作预测。
• 集成支持： 支持与 SONIC（人形机器人强大的全身控制器）集成。
• 仿真支持： 通过 SIMPLE 模拟器（MuJoCo 物理引擎与 Isaac Sim 渲染）提供基准测试。
• 开源资源： 在 Hugging Face 上提供开源检查点和数据集。