YYHDBL/shopping-grpo-longhorizon

解决的问题

该项目提供了一个可复现的流水线，用于训练和评估专为长周期购物任务设计的 AI 智能体。它解决了构建能够可靠地在复杂电子商务环境中导航的智能体所面临的挑战——执行搜索、比较产品规格以及根据特定用户约束做出最终购买等任务。

工作原理

该项目使用多阶段训练流水线：

1. 数据收集：使用教师模型在 ShopSimulator 环境中收集成功的交互轨迹。
2. 监督微调（SFT）：基于这些轨迹执行 LoRA 微调，以教授模型有效的工具使用策略。
3. GRPO 训练：使用 veRL 库，通过组相对策略优化（GRPO）进一步优化模型，使智能体无需单独的奖励模型即可从自身环境交互中学习。
4. 评估：使用严格的多维度评估流水线，结合基于代码的确定性检查和 LLM-as-a-Judge 评分，从五个维度评估性能，包括搜索策略和决策质量。

适用对象

该项目面向从事智能体 AI 的研究人员和开发者，特别是那些专注于长周期任务规划、工具使用以及从环境反馈中进行强化学习（RLHF/GRPO）的模拟真实世界场景。

亮点

• 端到端流水线：涵盖从数据收集、SFT 到 GRPO 训练以及全面的评估套件。
• ShopSimulator 集成：内置 ShopSimulator v2.1 环境，确保测试一致性。
• 确定性奖励系统：使用基于规则的 Reward v3 系统客观评估结果，避免纯 LLM 奖励建模的主观性。
• 可复现基准测试：提供“Final-200 Clean”基准集，确保不同模型迭代之间公平且一致的比较。