NVIDIA-AI-Blueprints/video-search-and-summarization

NVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual Q&A, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.

解决的问题

本项目解决了分析和交互海量存储及流式视频数据的难题。它能够创建视觉 AI 智能体，执行自然语言搜索、总结长录像，并实时验证警报，从而提高智能空间和仓库等环境中的运营效率。

工作原理

该系统采用结合了视觉微服务、视觉语言模型 (VLM) 和大语言模型 (LLM) 的分层架构：

  • 实时视频智能： 从实时流中提取视觉特征、语义嵌入和上下文理解，并将其发布到消息代理。
  • 下游分析： 将原始检测结果转换为可操作的洞察，例如轨迹、事件和已验证的警报。
  • 智能体处理： 高层智能体使用 Model Context Protocol (MCP) 来访问视频分析数据和用于问答、语义搜索及片段检索的工具。

适用对象

  • 视频分析师和 IT 工程师： 需要通过一键部署来处理和总结视频数据的即用型解决方案。
  • GenAI 开发人员和 ML 工程师： 寻求为特定数据集定制流水线或为特定用例微调 LLM 的专家。

亮点

  • 多样化的智能体工作流： 通过分块和密集字幕功能，支持问答报告生成、实时异常检测和长视频摘要。
  • 基于 VLM 的验证： 使用 VLM 验证感知模型生成的警报，以减少误报。
  • 语义搜索： 利用视频嵌入实现跨视频存档的自然语言搜索。
  • NVIDIA NIM 集成： 利用 Cosmos3 Nano Reasoner 和 Nemotron-Nano-9B-v2 等优化后的微服务。