amazon-far/abc

解决的问题

ABC 提供了一个用于行为克隆的可扩展框架，使机器人能够从开放数据中学习复杂任务。它解决了训练鲁棒策略的挑战，这些策略可以在不同任务和环境中进行泛化，并提供了模型架构以及训练、评估和现实世界部署所需的工具。

运作方式

该项目实现了两种主要的模型架构：

• ABC-DiT：一种扩散 Transformer (DiT) 策略，使用视觉主干（默认为 DINOv3 或 CLIP）来处理视觉输入并生成机器人动作。
• ABC-VLA：一种基于 Gemma 3 4B 的纯扩散移植版本的视觉-语言-动作 (VLA) 模型，利用 SigLIP 进行视觉处理，并使用 DiT 头进行动作生成。

该系统包含一个用于任务评估的独立 MuJoCo 模拟器、一个用于处理 MCAP 文件的数据转换管道，以及一个用于真实机器人推理和远程操作的部署堆栈。

适用对象

需要使用大规模数据集训练和部署行为克隆策略的机器人研究人员和工程师，特别是那些对 Diffusion Transformers 和 VLAs 等高容量模型感兴趣的人。

特点

• 双架构支持：提供专用的 DiT 策略和基于 Gemma 3 的大规模 VLA 模型。
• 整合模拟：包含一个全面的 MuJoCo 模拟器，具有任务目录和随机化工具，用于严格评估。
• 真实机器人就绪：提供完整的部署堆栈，包括 RTC、远程操作和用于物理硬件的 DAgger 检查点。
• 开放数据管道：支持 ABC-130k 数据集，并提供将原始数据转换为训练就绪格式的实用工具。