microsoft/agent-lightning

解決的問題

Agent Lightning 是一個輕量級框架，旨在使用強化學習（RL）訓練 AI 代理，而無需對代理的現有程式碼或工作流程進行重大修改。它解決了將複雜的代理工作流程（包括工具、上下文和控制流程）整合到根據表現更新模型的訓練循環中的困難。

如何運作

該框架採用三元件架構，彌合代理環境與訓練器之間的差距：

• 訓練器： 使用 verl 和 vLLM 管理 RL 過程，建構訓練樣本並更新模型策略。
• API 網關： 作為模型請求的代理，捕獲互動和軌跡，這些資料將作為訓練資料使用。
• 回放控制器： 啟動並管理代理，可在本機或作為 Kubernetes Job 運行，使其能與真實世界環境互動。

適用對象

希望在特定領域（如程式碼撰寫、搜尋、數學推理）中透過強化學習提升效能的自主代理研究人員與開發者。

主要亮點

• 最小程式碼變更： 透過代理使用真實工作流程訓練代理，無需對代理邏輯進行任何變更。
• 輕量設計： 整個框架約由 3,500 行程式碼組成。
• 原生支援 Kubernetes： 支援將代理作為 Kubernetes Job 運行，實現可擴展的回放資料收集。
• 已驗證成果： 僅使用 6K 訓練樣本，Qwen3.5-9B 程式碼代理在 SWE-bench Verified 上實現了 14.6 個百分點的提升。