agentscope-ai/Trinity-RFT

解决的问题

Trinity-RFT 为大型语言模型的强化微调 (RFT) 提供了一个统一且灵活的框架。它通过将数据生成、模型训练与数据管线解耦为可管理且可互换的组件，简化了提升 LLM 能力（特别是针对智能体工作流程）的复杂过程。

运作方式

该框架通过三个协调组件运作：

• Explorer: 处理智能体与环境的交互以生成经验数据。
• Trainer: 通过最小化基于收集数据的损失来更新模型权重。
• Buffer: 管理数据管线，处理整个 RFT 生命周期中的数据处理、清理与增强。

它支持多种 RFT 模式，包括同步/异步、策略内/策略外 (on-policy/off-policy) 以及在线/离线强化学习。它还能与 AgentScope 等智能体框架整合，以训练多步骤的智能体工作流程。

适用对象

• 智能体应用开发者: 希望为特定领域能力训练 LLM 驱动智能体的开发者。
• 强化学习研究人员: 需要使用即插即用模块设计与验证新强化学习算法的研究人员。
• 数据工程师: 构建 RFT 数据集与数据管线，用于清理或人机协作场景的专业人员。

特色亮点

• 多样化的 RFT 模式: 支持广泛的强化学习配置，包括异步展开与训练，可跨设备独立扩展。
• 智能体强化学习支持: 能够训练串联式与通用的多步骤智能体工作流程。
• 全生命周期数据管线: 具备主动数据管理功能，包括优先级排序与在线任务课程构建。
• 丰富的算法库: 包含 PPO, GRPO, DAPO, DPO, SFT 的实现，以及多种专业研究算法如 CHORD 与 REC。