microsoft/agent-lightning

解決する課題

Agent Lightningは、エージェントの既存コードを大幅に変更することなく、強化学習（RL）を用いてAIエージェントをトレーニングするために設計された軽量フレームワークです。ツール、コンテキスト、特定の制御フローを含む複雑なエージェントワークフローにRLトレーニングを統合する際の困難を解決します。

仕組み

このフレームワークは、モデルをキャプチャして更新するためのシンプルな3コンポーネントアーキテクチャを採用しています。

• Trainer: verl と vLLM を使用してトレーニングプロセスを管理し、トレーニングサンプルを作成してポリシーを更新します。
• API Gateway: モデルリクエストのプロキシとして機能し、トレーニングに必要なインタラクションデータをキャプチャします。
• Rollout Controller: エージェントをローカルまたは Kubernetes Jobs として起動・管理し、実際の環境と対話させます。

対象ユーザー

実際の運用環境において、AIエージェント（特にコーディングエージェント、検索エージェント、推論エージェント）のパフォーマンスを向上させるためにRLを適用したい開発者や研究者を対象としています。

ハイライト

• 最小限のコードベース: フレームワーク全体で約3,500行のコードで構成されています。
• ゼロ変更統合: エージェントはプロキシ経由で対話するため、既存のツールや環境を修正せずにそのまま維持できます。
• ネイティブなKubernetesサポート: エージェントを Kubernetes Jobs として直接実行でき、スケーラブルなロールアウトが可能です。
• 実証済みのパフォーマンス: 比較的小規模なトレーニングセットを使用して、コーディングエージェントのパフォーマンス（例：Qwen3.5 モデルの SWE-bench Verified スコアの向上）において大幅な改善を実証しました。