dexmal/dexbotic
Dexbotic: Open-Source Vision-Language-Action Toolbox
解决的问题
Dexbotic 提供了一个统一的视觉-语言-动作(VLA)模型开发工具箱,简化了具身智能的预训练、微调、推理和评估流程。它消除了为不同 VLA 算法设置复杂环境的繁琐,并为各种机器人平台提供了标准化的训练数据处理方式。
工作原理
基于 PyTorch 构建,该工具箱采用模块化架构,包含分层配置、工厂注册和入口分发机制。这使得研究人员无需重写核心代码,即可通过实验脚本更换模型、修改配置或添加新任务。它支持本地消费级 GPU 和云训练平台,并包含统一的训练数据格式,确保在 UR5、Franka 和 ALOHA 等不同硬件间的兼容性。
适用人群
专为从事具身人工智能研究和开发的科研人员与开发者设计,特别是那些致力于机器人操作与导航 VLA 模型开发的人员。
主要亮点
- 广泛模型支持:集成主流策略,包括 π0、CogACT、OFT、MemVLA 和 DM0。
- 性能优化:包含高性能预训练基础模型,以及基于 Triton 的实时后端,可实现高达 5 倍的推理加速。
- 灵活训练:支持 FSDP2 分布式训练和 LoRA 高效微调。
- 硬件无关:提供多种机器人类型的部署脚本和数据格式,支持最新的 Blackwell GPU 架构。
相关
- 项目
OpenBMB/DeepThinkVLADeepThinkVLA 是一个视觉-语言-动作模型,它在生成机器人动作前插入一个显式的链式思维推理步骤。采用混合解码器(自回归推理 → 双向并行动作生成),作者在新构建的具身CoT数据集上训练,再通过成果驱动的强化学习进行优化。该模型在LIBERO基准上实现97 %的平均成功率,推理延迟仅为纯自回归基线的0.175×,并能零样本迁移到更新的LIBERO Plus套件。
- 项目
open-gigaai/giga-brain-0GigaBrain‑0.7 是一个开源、大规模的机器人视觉-语言-动作模型。它在 37,000 小时的异构具身数据上进行预训练,支持 8 种机器人形态,并附带训练脚本、基准测试套件(VLM‑Benchmark、RoboColiseum、RoboTwin 2.0、EBench)以及可与 ROS 集成的即用型推理服务器。
- 项目
opendilab/LightRFTLightRFT 是一个开源、分布式强化学习框架,用于微调大型语言和多模态生成模型。它统一了训练后端(DeepSpeed, FSDP)与 Rollout 引擎(SGLang, vLLM),支持多种 RL 算法(GRPO, REINFORCE++, DAPO 等),并可跨文本、图像、视频和音频模态运行。该库提供即插即用的示例(例如使用 Qwen2.5 进行 GSM8K)、详尽的文档和 Docker 镜像,非常适合开发 RL 基于对齐管道的研究人员和工程师。
- 项目
dsta022/Loop-Engineering-for-VLALoop Engineering for VLAnything 是一个端到端的 Python 工具包,可让您记录、合并、审计、丰富并迭代改进用于视觉-语言-动作模型的多模态机器人学习数据集(RGB、RGB-D 及未来视觉触觉)。它提供保守的、侧车优先的质量审计、可插拔的语义评估器、语言标注流水线以及策略改进的闭环反馈,完全兼容 LeRobot 数据格式,并可发布到 Hugging Face。