YYHDBL/shopping-grpo-longhorizon

解決する課題

このプロジェクトは、長期的なショッピングタスク向けに設計された AI エージェントをトレーニングおよび評価するための再現可能なパイプラインを提供します。検索、製品仕様の比較、特定のユーザー制約に基づく最終購入などのタスクを実行しながら、複雑な e コマース環境を確実にナビゲートできるエージェントを構築するという課題に取り組みます。

仕組み

このプロジェクトは多段階のトレーニングパイプラインを使用します：

1. データ収集：教師モデルを使用して、ShopSimulator 環境内で成功したインタラクショントラジェクトリを収集します。
2. 教師ありファインチューニング（SFT）：これらのトラジェクトリに基づいて LoRA ベースのファインチューニングを実行し、モデルに有効なツール使用戦略を教えます。
3. GRPO トレーニング：veRL ライブラリを使用して、グループ相対方策最適化（GRPO）によりモデルをさらに最適化します。これにより、エージェントは別の報酬モデルを必要とせずに、自身の環境ロールアウトから学習できます。
4. 評価：決定論的なコードベースのチェックと LLM-as-a-Judge スコアリングを組み合わせた厳格な多面的評価パイプラインを使用し、検索戦略や意思決定の質など 5 つの側面にわたってパフォーマンスを評価します。

対象読者

このプロジェクトは、エージェント AI に取り組む研究者や開発者を対象としており、特に長期的なタスク計画、ツール使用、シミュレートされた現実世界シナリオでの環境フィードバックからの強化学習（RLHF/GRPO）に焦点を当てています。

ハイライト

• エンドツーエンドパイプライン：データ収集、SFT、GRPO トレーニング、包括的な評価スイートまでをすべて含みます。
• ShopSimulator 統合：一貫したテストのための ShopSimulator v2.1 環境の組み込みバージョンが付属しています。
• 決定論的報酬システム：ルールベースの Reward v3 システムを使用して結果を客観的に評価し、純粋な LLM ベースの報酬モデリングの主観性を回避します。
• 再現可能なベンチマーク：「Final-200 Clean」ベンチマークセットを提供し、異なるモデル反復間の公平かつ一貫した比較を保証します。