NVIDIA-AI-Blueprints/video-search-and-summarization

NVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual Q&A, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.

解決的問題

本專案解決了分析與互動海量儲存及串流影片數據的難題。它能夠建立視覺 AI 智能體，執行自然語言搜尋、摘要長錄影，並即時驗證警報，從而提高智慧空間與倉庫等環境中的營運效率。

工作原理

該系統採用結合了視覺微服務、視覺語言模型 (VLM) 與大語言模型 (LLM) 的分層架構：

  • 即時影片智能： 從即時串流中提取視覺特徵、語義嵌入與上下文理解，並將其發布至訊息代理。
  • 下游分析： 將原始檢測結果轉換為可操作的洞察，例如軌跡、事件與已驗證的警報。
  • 智能體處理： 高層智能體使用 Model Context Protocol (MCP) 來存取影片分析數據以及用於問答、語義搜尋與片段檢索的工具。

適用對象

  • 影片分析師與 IT 工程師： 需要透過一鍵部署來處理與摘要影片數據的即用型解決方案。
  • GenAI 開發人員與 ML 工程師： 尋求為特定數據集定制流水線或為特定用例微調 LLM 的專家。

亮點

  • 多樣化的智能體工作流： 透過分塊與密集字幕功能，支援問答報告生成、即時異常檢測與長影片摘要。
  • 基於 VLM 的驗證： 使用 VLM 驗證感知模型產生的警報，以減少誤報。
  • 語義搜尋： 利用影片嵌入實現跨影片存檔的自然語言搜尋。
  • NVIDIA NIM 整合： 利用 Cosmos3 Nano Reasoner 與 Nemotron-Nano-9B-v2 等優化後的微服務。