agentscope-ai/Trinity-RFT

解決する課題

Trinity-RFT は、大規模言語モデル (LLM) の強化学習によるファインチューニング (RFT) のための統一的かつ柔軟なフレームワークを提供します。データ生成、モデル学習、データパイプラインを管理可能で交換可能なコンポーネントに分離することで、LLM の能力向上（特にエージェントワークフロー向け）という複雑なプロセスを簡素化します。

仕組み

このフレームワークは、3つの連携するコンポーネントを通じて動作します：

• Explorer: エージェントと環境の相互作用を処理し、経験データを生成します。
• Trainer: 収集されたデータに基づいて損失を最小化し、モデルの重みを更新します。
• Buffer: データパイプラインを管理し、RFT ライフサイクル全体を通じて処理、クリーニング、拡張を行います。

同期/非同期、オンポリシー/オフポリシー、オンライン/オフライン強化学習など、幅広い RFT モードをサポートしています。また、AgentScope などのエージェントフレームワークと統合し、多段階のエージェントワークフローを学習させることも可能です。

対象ユーザー

• エージェントアプリケーション開発者: 特定のドメイン能力を持つ LLM 駆動型エージェントを学習させたい開発者。
• 強化学習研究者: プラグアンドプレイモジュールを使用して新しい強化学習アルゴリズムを設計・検証する必要がある研究者。
• データエンジニア: クリーニングや人間参加型 (human-in-the-loop) シナリオのために RFT データセットやデータパイプラインを構築する専門家。

主な特徴

• 多様な RFT モード: 非同期ロールアウトや学習など、デバイス間で独立してスケーリング可能な幅広い強化学習構成をサポート。
• エージェント強化学習のサポート: 連結型および汎用的な多段階エージェントワークフローの両方を学習可能。
• フルライフサイクルデータパイプライン: 優先順位付けやオンラインタスクカリキュラム構築を含む、アクティブなデータ管理機能を備えています。
• 豊富なアルゴリズムライブラリ: PPO, GRPO, DAPO, DPO, SFT の実装に加え、CHORD や REC といった専門的な研究アルゴリズムを多数含みます。