OpenWAM-Official/OpenWAM

它解决的问题

OpenWAM解决了构建世界-动作模型（WAM）的挑战，其中模型架构、表示和训练策略等设计选择通常紧密耦合且难以比较。它提供了一个模块化的研究栈，将这些耦合的决策转化为可互换的组件，使研究人员能够系统地隔离、测试和改进每个部分。它还提供了一个开放的预训练模型（OpenWAM-alpha），该模型在超过5亿帧的第一人称人类和机器人数据上训练，使其他人无需从头开始训练。

工作原理

OpenWAM由三个主要部分组成：

• OpenWAM-Infra：一个模块化基础设施，用于组合和比较模型、表示、训练、推理、部署和评估选择。用户通过Hydra YAML配置从架构菜单（单系统、双系统或三系统）和骨干网络（视频、视觉和语言模型）中进行选择。
• OpenWAM-Study：受控实验，用于推导继承世界知识、耦合世界和动作学习以及跨领域扩展的实用原则。
• OpenWAM-alpha：一个开放的预训练WAM，应用了这些原则，在5.185亿帧（约6,400小时）的第一人称人类和机器人数据上训练。

该仓库包含下载资产（视频骨干网络、基准数据、VLM骨干网络等）、训练或微调策略，以及将其部署为WebSocket服务器进行推理的脚本。它支持许多基准（RoboTwin、LIBERO、LIBERO-plus、RoboCasa365、VLABench等），并与XPolicyLab集成。

适用人群

面向从事世界-动作模型、机器人策略或基于视频的AI代理的研究人员和开发者，他们希望有一个灵活、可扩展的平台来预训练、微调和评估他们的模型。对于那些希望使用预训练基础模型并针对特定任务进行微调，或希望为该领域的开放研究工作做出贡献的人，它也很有用。

亮点

• 模块化基础设施：通过配置文件轻松交换模型、表示、训练和部署组件。
• 受控研究：内置实验，用于推导世界-动作学习的设计原则。
• 开放预训练模型：OpenWAM-alpha在5.185亿帧人类和机器人数据上训练。
• 多种架构：支持单系统、双系统和三系统设计，以及联合自注意力或交叉注意力等变体。
• 多种骨干网络：与Wan2.2、Cosmos、Qwen3-VL、DINOv3以及其他视频/视觉/VLM骨干网络兼容。
• 广泛基准支持：包括8个以上的评估基准，以及与XPolicyLab的集成。
• 发布数据集：清理后的机器人数据集（AgiBotWorld-Beta、RoboCOIN、InternData-A1、DROID）可在HuggingFace上获取。
• 开源：Apache 2.0许可证，提供项目页面、论文和社区渠道。