amazon-far/abc

解决的问题

提供一个可扩展的机器人行为克隆框架，使模型能够从大规模的真实和模拟机器人轨迹开放数据集中学习复杂物理任务（例如整理箱子中的瓶子）。

工作原理

该项目实现了一个以 ABC-DiT 为核心的训练流水线。ABC-DiT 使用视觉主干（DINOv3）和文本编码器（CLIP）处理视觉和语言输入。采用流匹配（flow-matching）进行动作预测，并支持在模拟数据和真实世界数据的混合数据上进行训练。系统包含工具，可将原始 MCAP 数据转换为专用格式（二进制状态-动作文件和高效的 MP4 视频堆栈），以优化训练过程中的数据加载效率。

适用人群

希望使用大规模行为克隆训练视觉-语言-动作（VLA）模型，并在仿真和真实环境中进行评估的机器人研究人员和工程师。

主要亮点

• 可扩展训练：支持多 GPU 训练（例如 8x H100/H200），具备优化的吞吐量。
• 混合数据支持：能够同时在模拟和真实世界数据上训练，提升泛化能力。
• 高效数据流水线：提供转换脚本，将原始机器人数据转换为高性能格式，加速训练过程。
• 集成评估功能：提供基于 Viser 可视化的仿真评估套件，并支持系统性成功率日志记录。