Ch921-cell/Remember-R1

解决的问题

Remember-R1 解决了‘长上下文视觉遗忘’问题，即多模态模型在长时间推理过程中难以维持和利用视觉信息。

工作原理

该项目通过强化学习训练模型，将标准的答案正确性奖励扩展为三种特定的过程级奖励：

• 视觉词汇奖励：鼓励模型在推理过程中明确表达视觉证据。
• 视觉记忆奖励：鼓励模型在推理轨迹的后期步骤中持续依赖视觉数据。
• 视觉关键区域奖励：鼓励模型将注意力集中在与问题相关的图像区域。

适用人群

主要面向从事多模态大语言模型（MLLM）和需要长上下文记忆的视觉推理任务的 AI 研究人员和开发者。

亮点

• 实现了用于缓解视觉遗忘的强化学习框架。
• 提供 3B 和 7B 参数规模的预训练模型检查点。
• 包含专门用于训练和评估的数据集。
• 与 VLMEvalKit 集成，支持标准化性能评估。