cheng-haha/GPT-Policy

解决的问题

GPT-Policy 解决了让机器人适应陌生环境和任务时无需梯度更新或特定任务参数更改的挑战。它允许机器人在部署时从上下文中学习，克服了有限的演示集无法覆盖所有现实世界场景的限制。

工作原理

该系统是一个闭环控制框架，将固定的视觉语言模型（VLM）连接到机器人工具。它通过三个主要组件运行：

1. 上下文编译器：保留与任务相关的视觉转换，并收集来自人类视频、机器人演示、目标图像、自身历史和人机交互的输入。
2. VLM 代理：基于编译的上下文和实时观察提出结构化的机器人工具动作。
3. 约束控制器：验证并执行提议的动作（如笛卡尔目标或航点序列），执行逆运动学（IK）检查，并将结果报告回 VLM 以进行下一个决策周期。

适用人群

该项目面向具身 AI 和机器人领域的研究人员和开发者，他们希望使用大型视觉语言模型为机器人操作任务实现上下文学习。

亮点

• 上下文学习：使用演示和反馈适应新任务，无需重新训练模型。
• 多源上下文：支持人类视频、带动作标签的机器人视频、目标图像和交互历史。
• 硬件支持：包括 ARX X5 和 I2RT/YAM 机器人手臂平台的适配器。
• 闭环执行：集成实时摄像头反馈和执行结果，以迭代优化机器人行为。