RLinf/RLinf

解决的问题

RLinf 提供一个可扩展且灵活的基础设施，用于训练强化学习（RL）模型，特别针对具身 AI（机器人）与代理式 AI。它通过提供统一的骨干，弥合模拟与真实世界之间的差距，涵盖数据收集、监督式微调（SFT）、RL 训练与部署。

运作方式

RLinf 作为一个稳健的训练骨干，支持多种硬件（NVIDIA、AMD、华为昇腾、摩尔线程、壁仞 GPU）与软件生态系统（PyTorch）。它实现统一的机器人接口来管理硬件、任务与 rollout 包装器。系统支持多种训练范式，包括：

• VLA（视觉-语言-动作）训练：针对不同架构与模拟器的 VLA 模型进行可扩展的 RL 训练。
• 真实世界集成：将实体机器人视为在线策略学习的一级资源。
• 系统优化：使用 DynaRL 进行动态计算重新分配，以及 FUSCO 加速 MoE 通信，以提高训练吞吐量。
• 世界模型集成：支持使用世界模型作为模拟器进行 RL 微调。

适用对象

专为从事具身智能、机器人控制与自主代理的 AI 研究人员与工程师设计，他们需要高性能框架来将模型从模拟转移到真实世界硬件。

亮点

• 广泛的硬件支持：兼容于多种 GPU 供应商，超越 NVIDIA，包括 ROCm、CANN 与 MUSA。
• 深度机器人集成：官方采用于 Isaac Lab v3.0.0，并支持多种机器人，如 Franka 与 XSquare Turtle2。
• 多样化 RL 支持：实现 GRPO、SAC、IQL 与 DAgger，以及支持 VLA 模型的 SFT 与 RL 微调。
• 性能优化：通过系统级优化，在模拟器中实现显著加速（例如 BEHAVIOR 的 25 倍）。