sotayang/Awesome-Streaming-Video-Understanding

解决的问题

传统的视频理解模型需要先看完整个视频才能回答问题。本仓库关注一个更难、更实际的问题：如何构建能够逐帧实时处理视频，并决定何时说话、保持沉默或询问更多细节的 AI 助手。它汇集了最佳研究，以便开发者和研究者能找到创建始终在线、交互式视频 AI 系统所需的一切。

工作原理

该列表围绕流式视频理解的两大核心挑战进行组织。一个挑战是决定何时行动：模型使用预测特殊标记来保持安静、使用单独的检测器或检查不确定性来触发响应等技术。另一个挑战是如何在长连续流上高效地继续处理：方法包括管理不断增长的内存/缓存、压缩历史、使用检索以及使计算更稀疏。该仓库还对用于评估这些系统的主要基准和数据集进行了分组，并包含一篇全面的综述论文。

适用人群

探索实时、始终在线视频 AI 前沿的研究者和实践者。它既可作为学术工作的参考资料，也可作为开发流式视频助手（如实时解说员、健身教练、监控系统或具身机器人）的开发者的实用指南。

亮点

• 包含 100 多篇论文的精选列表，附有链接、发表地点和发布日期，涵盖主动式和被动式流式模型
• 专门章节介绍评估多轮对话、实时字幕和主动时机的基准和数据集
• 包含配套综述论文：“Towards Online Interactors: A Comprehensive Survey on Streaming Video Understanding”
• 按方法族（基于标记的触发、分类头、内存管理等）分类，便于比较
• 积极维护，欢迎贡献（欢迎 Pull Request）