yoloytang/Awesome-Video-LMM-Post-Training
🔥🔥🔥 Latest Papers, Codes and Datasets on Video-LMM Post-Training
解决的问题
本项目旨在解决如何提升大型多模态模型(LMMs)对视频内容进行推理的挑战。它提供了一个精选的、系统化的资源,帮助研究人员追踪后训练技术的进展,使这些模型能够超越简单的描述,实现复杂的多步逻辑推理。
工作原理
该仓库将最新研究分为四大类:
- 强化视频LMMs: 使用强化学习(如RLHF或DPO)使模型与人类偏好对齐,并提高事实准确性。
- 用于推理的SFT: 使用基于推理的数据集进行监督微调,通常结合思维链(CoT)来教导模型如何思考视频任务。
- 测试时扩展: 在推理(推断)阶段提升推理性能的策略,无需进一步训练,例如智能体框架、工具使用和RAG。
- 基准测试: 专门设计用于衡量和评估这些高级推理能力的挑战性数据集集合。
适用人群
本资源面向AI研究人员、机器学习工程师和开发者,他们从事视频理解、多模态AI或模型对齐工作,希望跟上视频LMM后训练快速发展的领域。
亮点
- 全面的、分类的学术论文、代码仓库和数据集列表。
- 关注最新研究趋势,包括R1风格推理和基于过程的奖励。
- 配套的综述论文,深入探讨视频推理的分类法和最新技术。
- 开源、社区驱动的仓库,欢迎通过拉取请求贡献。
相关
- 项目
- 项目
- 项目
- 项目