microsoft/agent-lightning

解决的问题

Agent Lightning 是一个轻量级框架，旨在利用强化学习 (RL) 训练 AI 代理，且无需对代理的现有代码进行重大修改。它解决了将 RL 训练整合到涉及工具、上下文和特定控制流的复杂代理工作流程中的困难。

运作方式

该框架使用简单的三组件架构来捕捉并更新模型：

• Trainer (训练器)： 使用 verl 和 vLLM 管理训练过程，以建立训练样本并更新策略。
• API Gateway (API 网关)： 作为模型请求的代理，捕捉训练所需的互动数据。
• Rollout Controller (部署控制器)： 启动并管理代理（本地或作为 Kubernetes Jobs），让它们能与真实环境互动。

适用对象

专为希望应用 RL 来提升 AI 代理（特别是编程代理、搜索代理和推理代理）在实际运作环境中性能的开发者与研究人员所设计。

特色亮点

• 极简代码库： 整个框架仅约 3,500 行代码。
• 零变更整合： 代理通过代理服务器进行互动，无需修改即可保留现有的工具与环境。
• 原生 Kubernetes 支持： 代理可直接作为 Kubernetes Jobs 执行，实现可扩展的部署。
• 性能验证： 在相对较小的训练集下，已证实能显著提升编程代理的性能（例如提升 Qwen3.5 模型的 SWE-bench Verified 分数）。