inclusionAI/AReno

解决的问题

AReno 是一套自包含的工具组，旨在让大型语言模型 (LLM) 的强化学习 (RL) 与后训练能在单个节点上轻松完成。它消除了对复杂集群设置或手动串接不同训练框架、推理服务器与内核库的需求，让开发者能从基础检查点 (checkpoint) 直接在本地完成模型部署。

运作方式

AReno 提供全栈设计，将训练、推理与 rollout 能力整合在单个套件中。它使用 Trainer 类来管理 RL 循环：生成策略内 (on-policy) 的完成内容 (rollout)、通过用户定义的奖励函数进行评分，并更新模型权重 (训练)。它支持多种硬件后端，包括 NVIDIA CUDA、Ascend NPU 与 Apple Silicon (通过 MLX)，并提供与 OpenAI 兼容的代理程序 RL 轨迹代理服务器。

目标对象

希望进行快速、本地化 LLM 后训练、SFT/DPO 风格训练或代理程序 RL，且不想负担管理分布式集群开销的研究人员与开发者。

特色亮点

• 即插即用：通过简单的 CLI 标志或 Python API 访问各种后训练方法。
• 多后端支持：原生兼容 CUDA、Ascend NPU 与 Apple Silicon MLX。
• 代理程序 RL 就绪：支持从代理程序与本地 OpenAI 兼容代理服务器交互所产生的轨迹进行训练。
• 多模态能力：使用 OpenAI 风格的消息格式处理图像、音频与视频内容。
• LORA 集成：原生支持为 Qwen3 与 Bailing-MoE V3 等模型训练 TP 感知适配器，并保存标准 PEFT 产出物。
• 可扩展架构：允许轻松注册新的算法、奖励函数与硬件后端。