redai-studio/Relax

An Asynchronous Reinforcement Learning Engine for Omni-Modal Post-Training at Scale

Relax – 全模态 LLM 的异步强化学习引擎

它是什么 – Relax（Reinforcement Engine Leveraging Agentic X-modality）是一个开源框架，让你能大规模地用强化学习微调大型多模态语言模型（文本 + 视觉 + 音频）。它构建于 Ray Serve 之上，以实现服务导向、容错的部署；使用 Megatron-LM 作为训练后端，并以 SGLang 进行高吞吐量推理。自定义的 TransferQueue 将 rollout（推理）与训练解耦，实现可在独立 GPU 集群上运行的全异步流水线。

核心亮点（摘自 README）

全模态 RL – 单一框架在一个训练循环中处理文本、图像、视频和音频（例如 Qwen3-Omni）。
六层服务架构 – 每个组件（actor、rollout、critic 等）都是独立的 Ray Serve 部署，提供原生弹性调度和自动恢复。
三种执行模式 –
1. 共置（同步） – actor 和 rollout 共享 GPU（内存高效）。
2. 全异步 – 每个角色在各自的 GPU 集群上运行，通过 TransferQueue 通信以实现最大吞吐量。
3. 混合 – rollout 和 actor 分离，但参考/优势计算保留在进程内，平衡速度和资源使用。
丰富的算法套件 – PPO、GRPO、M2PO、RLOO、REINFORCE++（及其变体）、GSPO、SAPO、CISPO，以及同策略蒸馏。
弹性 rollout 扩缩 – HTTP REST API 让你在训练中途添加或移除推理引擎，无需停止循环，支持同集群和跨集群联邦。
生产级运维 – 具备自动恢复的健康管理器、集中式指标（WandB / TensorBoard / ClearML），以及通过 Apprise 的实时通知。
模型支持 – 专为 Megatron-LM 模型设计，如 Qwen-3 系列、GLM-5、Kimi-K2/K3，以及自定义 HuggingFace 检查点。
奖励中心 – 内置数学、视觉问答、多选题的奖励函数，以及“GenRM”LLM 作为评判模式；自定义奖励只需将文件放入 relax/engine/rewards/。

典型工作流程（快速入门风格）

准备数据和模型 – 下载 HuggingFace 数据集和 Megatron 兼容的检查点（例如 Qwen-3-4B）。
启动 Docker 镜像 – 官方镜像（ghcr.io/redai-studio/relaxrl:latest）已预装 CUDA、PyTorch、Megatron-LM、SGLang 和 Ray。
运行脚本 – 一行 bash 脚本即可启动三种模式中任一模式的完整 RL 任务。以下为 8 个 GPU 上纯文本 PPO 的示例：
```
export EXP_DIR=/root
bash scripts/training/text/run-qwen3-4B-8xgpu.sh
```
监控 – 日志显示在控制台；指标流式传输到配置的服务（WandB/TensorBoard）。
检查点与导出 – 检查点以 Megatron DCP 格式保存；转换脚本可将其转为 HuggingFace 权重以供下游使用。

安装

# 拉取预构建的容器（包含所有依赖）
docker pull ghcr.io/redai-studio/relaxrl:latest

# 以 GPU 访问运行并挂载工作区
docker run -it --gpus all --ipc=host --network=host \
  -v /path/to/workspace:/root ghcr.io/redai-studio/relaxrl:latest bash

# 在容器内克隆仓库并以可编辑模式安装
git clone https://github.com/redai-studio/Relax.git /root/Relax
cd /root/Relax && pip install -e .

README 也提供多节点集群和驱动要求的详细安装指南。

谁会使用 Relax？

研究实验室 构建下一代多模态 LLM，需要基于 RL 的对齐（例如视觉问答、音视觉代理）。
工业 AI 团队 想要生产级、容错的 RL 流水线，能跨多个 GPU 节点扩展。
开发者 想在大型 MoE 模型上实验先进 RL 算法（M2PO、RLOO、REINFORCE++），而无需编写底层分布式代码。

何处了解更多

文档网站 – https://redai-studio.github.io/Relax （双语、完整架构、训练指南、API 参考）。
论文 – arXiv 链接 2604.11554（链接于徽章中）。
讨论渠道 – 微信 QR 徽章、Docker 镜像徽章，以及 GitHub Discussions 社区帮助。

总结

Relax 是一个全栈、异步的 RL 平台，弥合了大规模多模态 LLM 与基于强化学习的微调之间的差距。其服务导向设计、广泛算法支持和弹性 rollout 能力，使其成为大规模全模态 RL 最完整的开源解决方案之一。