TsinghuaC3I/MARTI

何を解決するか

MARTIは、強化学習（RL）を用いた大規模言語モデル（LLM）ベースのマルチエージェントシステム（MAS）のトレーニングの難しさに対処します。スケーラブルな方法で複雑なマルチエージェント間の相互作用と報酬配分を管理しながら、実際のポリシー学習を個々のエージェントに分散させます。最新バージョンであるMARTI-v2は、標準的なトークンレベルの最適化が不足しがちな、複雑な推論タスク（例：コード生成）に特化しています。

動作方法

このフレームワークは、中央集権的な相互作用と分散型トレーニングの原則に基づいています。3つのコアモジュールから構成されています：相互作用用のマルチエージェントワールド、報酬割り当て用の中央集権的報酬、ポリシー更新用の単一エージェントトレーナー。

MARTI-v2は**MARS²（マルチエージェントツリー探索RL）**を導入し、非同期マルチエージェントツリー探索を用いて、適応的なノード展開と精緻化により、解空間をより体系的に探索します。長文（最大32Kトークン）に対するトレーニングの安定化のため、シーケンスレベル最適化にGSPO損失を採用し、vLLMエンジンからのサンプリングバイアスを補正するためTruncated Importance Sampling（TIS）を用います。

対象ユーザー

複雑な推論、数学、コード生成タスク向けの協調的LLMエージェントチームを構築するAI研究者や開発者で、強化学習用の堅牢なインフラが必要な方々。

主な特徴

• マルチエージェントツリー探索：高品質な解の発見のための推論経路の効率的探索を可能にします。
• 異種トレーニング：Qwen3やAreaLなど異なるモデルを、独立した役割と戦略で同時にトレーニングできます。
• 多様なRLアルゴリズム対応：PPO、GRPO、REINFORCE++、TTRLと互換性があります。
• 柔軟なワークフロー：マルチエージェントディベート、Chain-of-Agents、Mixture-of-Agentsなどのグラフベースワークフローを内蔵サポートしています。
• インフラ統合：OpenRLHFに基づき、vLLMを活用して高速な推論とトレーニングを実現しています。