dexmal/dexbotic

Dexbotic: Open-Source Vision-Language-Action Toolbox

解决的问题

Dexbotic 提供了一个统一的视觉-语言-动作(VLA)模型开发工具箱,简化了具身智能的预训练、微调、推理和评估流程。它消除了为不同 VLA 算法设置复杂环境的繁琐,并为各种机器人平台提供了标准化的训练数据处理方式。

工作原理

基于 PyTorch 构建,该工具箱采用模块化架构,包含分层配置、工厂注册和入口分发机制。这使得研究人员无需重写核心代码,即可通过实验脚本更换模型、修改配置或添加新任务。它支持本地消费级 GPU 和云训练平台,并包含统一的训练数据格式,确保在 UR5、Franka 和 ALOHA 等不同硬件间的兼容性。

适用人群

专为从事具身人工智能研究和开发的科研人员与开发者设计,特别是那些致力于机器人操作与导航 VLA 模型开发的人员。

主要亮点

  • 广泛模型支持:集成主流策略,包括 π0、CogACT、OFT、MemVLA 和 DM0。
  • 性能优化:包含高性能预训练基础模型,以及基于 Triton 的实时后端,可实现高达 5 倍的推理加速。
  • 灵活训练:支持 FSDP2 分布式训练和 LoRA 高效微调。
  • 硬件无关:提供多种机器人类型的部署脚本和数据格式,支持最新的 Blackwell GPU 架构。

相关

  • 项目
  • 项目
  • 项目
  • 项目