MCG-NJU/VideoChat3

解决的问题

VideoChat3 旨在解决开发通用型视频模型的挑战，使其能够处理多样化任务——例如细粒度动作分析、长视频推理、精确的时间定位以及即时主动响应——同时不牺牲效率或丢失关键视觉证据。

运作原理

这是一个 4B 参数的多模态大型语言模型 (MLLM)，利用两项关键技术创新来优化视频处理：

1. I3D-ViT：此组件提供 16 倍的时空压缩，在保留必要证据的同时减少冗余的视觉 Token。
2. 自适应帧分辨率：模型仅在需要更仔细的视觉检查时动态提高帧分辨率，从而实现基于证据的串流处理。

该模型在三个大规模数据集上进行了训练：Academic2M、LV116K 和 OL617K。

适用对象

此项目专为从事视频理解、多模态 LLM 以及需要高效处理短片动作与长达一小时视频内容的 AI 研究人员与开发者所设计。

特色亮点

• 通用能力：单一模型即可处理动作分析、长篇推理、时间定位与线上主动响应。
• Token 效率：使用 I3D-ViT 在不丢失时空细节的情况下压缩视觉数据。
• 自适应感知：根据视觉细节需求动态调整分辨率。
• 完全开放：公开提供模型权重、训练代码以及完整的训练数据集。