RL-Align/RL-Kernel

解决的问题

RL-Kernel 解决了强化学习 (RL) 后训练过程中出现的数值不一致问题。在标准设置中，rollout 引擎（生成样本）和训练引擎（更新模型）通常使用不同的内核或计算顺序。这会导致对数概率出现差异，从而降低 RL 训练的稳定性和质量。RL-Kernel 确保这两个阶段产生完全相同的结果，从而在整个训练过程中保持数值一致性。

工作原理

它充当执行引擎（如用于 rollout 的 vLLM 和用于训练的 Megatron-LM）与底层硬件之间的中间件层。通过提供一组确定性的高性能算子（如 attention、dense FFN 以及 GRPO 和 PPO 等特定 RL 目标），它强制 rollout 和训练引擎以数学上完全相同的方式执行计算。它还包含针对特定硬件的内核，以优化性能并减少受支持加速器上的内存使用。

适用人群

该项目专为从事大语言模型 (LLM) 大规模 RL 后训练的机器学习工程师和研究人员设计，他们需要高性能、可复现且跨硬件的训练流水线。

核心亮点

• 确定性一致性： 保证 rollout 引擎和训练引擎之间位级精确的对数概率一致性。
• 跨硬件支持： 原生支持 NVIDIA (CUDA) 和 AMD (ROCm) GPU，并部分支持华为 Ascend 硬件。
• 性能优化： 使用融合计算和自定义内核来最小化 rollout 时间和同步开销。
• 引擎集成： 与 vime 集成以编排 vLLM 和 Megatron-LM，为 RL 工作流提供统一路径。