OpenGVLab/VideoChat-Flash

[ICLR2026] VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling

解决的问题

VideoChat-Flash 解决了在处理超长视频（最长可达三小时）时保持高推理速度和准确性的挑战。它通过减少表示视频帧所需的令牌数量，解决了长上下文视频建模中的计算效率低下问题。

工作原理

该项目实现了一种分层压缩架构，将每个视频帧编码为仅 16 个令牌。这种方法使模型能够处理高达 10,000 帧的海量输入，同时比之前的版本快 5 到 10 倍。它基于视频编码器（InternVideo）和大语言模型（Qwen）构建。

适用人群

适用于专注于长视频理解、时间定位和高效视频分析的多模态大语言模型（MLLM）研究人员和开发者。

主要亮点

  • 超长上下文支持：可处理长达三小时的视频。
  • 高效率：将帧编码为 16 个令牌，显著提升推理速度。
  • 强大的检索性能：在 10,000 帧的“针堆中找针”评估中达到 99.1% 的准确率。
  • 多样化的模型选项：提供多种模型尺寸（2B 和 7B）以及针对超长视频输入或短期时间理解的专用版本。

相关

  • 项目
    MCG-NJU/VideoChat3

    VideoChat3 is a 4B generalist video MLLM designed for efficient video understanding, covering everything from subtle motion and long-form reasoning to live stream proactive responses.

  • 项目
    OpenMOSS/MOSS-VL

    MOSS‑VL 是一个开源权重的11 B参数视频语言模型家族，能够实时理解并对话直播视频流。它采用交叉注意力架构，结合时间戳帧和3D旋转嵌入（XRoPE），实现低延迟、可中断对话、主动静默和动态修正。发布三个变体（Realtime、Instruct、Base），支持单GPU使用的量化检查点，集成FlashAttention‑3、SGLang、ms‑swift和LoRA微调。项目包含展示最先进流式性能的基准测试，并提供实时与离线推理脚本。

  • 项目
    Zefan-Cai/KVCache-Factory

    一个统一的实验平台，用于实现和评估 KV 缓存压缩、检索、合并和量化方法，以优化长上下文 LLM 推理的内存使用。

  • 项目
    Robbyant/lingbot-map

    一种从视频实时生成点云和相机轨迹的前馈式3D基础模型。