areal-project/AReaL

解决的问题

AReaL 旨在弥合基础模型训练与复杂的智能体 AI 应用开发之间的鸿沟。它通过利用完全异步的强化学习 (RL) 范式，满足了对推理和基于智能体的模型进行高效、可扩展且经济高效的训练方法的需求。

工作原理

AReaL 采用基于微服务的架构，将训练流水线的关键组件（训练、推理、智能体执行和权重更新）进行解耦。通过使用异步 RL 方法，该系统相比传统的同步方法实现了更快的训练速度。它支持多种 RL 算法（如 GRPO、PPO 和 RLOO），并与各种智能体框架集成，开发者只需通过 base URL 将现有的智能体运行时连接到 AReaL 服务，即可训练智能体。

适用人群

本项目旨在为需要训练大规模推理模型或复杂 AI 智能体的 AI 研究人员和工程师提供支持。对于那些希望尝试高级 RL 算法或将 RL 训练集成到现有智能体工作流中，且无需重写整个代码库的用户来说，它特别有用。

亮点

• 完全异步 RL：针对大规模模型训练的速度和稳定性进行了行业领先的优化。
• 微服务架构：将训练、推理和智能体服务解耦，以实现模块化和可扩展性。
• 广泛的算法支持：包含 GRPO、PPO、GSPO 等最先进算法的原生实现，以及 KPop 和 IcePop 等各种 token-masking 技术。
• 智能体灵活性：支持“黑盒”智能体训练，允许开发者以最少的配置接入自定义智能体运行时。
• 硬件通用性：支持在多种硬件上进行训练，包括 NVIDIA GPU 和 Huawei Ascend NPU。