NVIDIA-AI-Blueprints/video-search-and-summarization

NVIDIA AI Blueprint – Video Search & Summarization (VSS)

這是什麼 – 一個參考實作，展示如何建構 GPU 加速的影片 AI 代理，能夠使用自然語言查詢對即時或錄製的影片進行搜尋、分析、摘要和推理。它將視覺語言模型 (VLM)、大型語言模型 (LLM)、檢索增強生成 (RAG) 和 NVIDIA NIM 微服務整合在一起。

主要功能

• 自然語言影片搜尋 – 使用密集嵌入索引影片串流，並透過文字查詢擷取相關片段。
• 長影片摘要 – 將數小時的影片分塊，產生密集字幕，並將它們彙總成簡潔的摘要。
• 視覺問答與報告產生 – 詢問關於影片片段的問題；VLM 會產生答案和格式化的報告。
• 即時警報驗證 – 物件偵測與追蹤管線會引發警報；VLM 會驗證它們以減少誤報。
• 模組化微服務堆疊 – 用於即時特徵擷取、下游分析和代理程式編排離線工具的獨立服務。

組織架構

層級	角色
即時影片智慧	從串流中擷取視覺特徵、嵌入和元資料；發佈到訊息代理器。
下游分析	豐富元資料（行為分析、事件偵測）並將結果儲存在 Elasticsearch/Redis 中。
代理與離線處理	透過模型上下文協定 (MCP) 編排工具，以執行搜尋、問答、摘要和片段擷取。

主要元件

• NIM 微服務 – 預先建置的 NVIDIA 模型，例如 Cosmos3 Nano Reasoner 和 Nemotron-Nano-9B-v2。
• services/agent/ – Python 代理程式碼（工具、API、嵌入、評估器）。
• services/ui/ – 用於與代理互動的 Next.js 前端。
• services/analytics/ – Python 和 Node.js 管線，將原始影片分析轉換為可搜尋的事件。
• deploy/ – Docker-Compose 檔案、Helm 圖表和 Brev 啟動腳本，用於在雲端或地端硬體上快速部署。
• tools/ – Redis/Kafka 串流的消費者、logstash 外掛程式，以及用於資料集產生和校準的公用程式。
• skills/ – 與 Agentskills 相容的技能套件，可讓其他代理呼叫 VSS 功能。

適用對象

• 影片分析師 / IT 工程師，需要可用於影片分析和報告的即裝即用解決方案。
• GenAI / ML 工程師，想要自訂管線、替換模型，或將 VSS 整合到更大的視覺代理系統中。

入門指南

1. 先決條件 – NVIDIA AI Enterprise 授權、NIM 模型的 API 金鑰、相容的 GPU（確切的 GPU 清單請參閱 NVIDIA 文件）。
2. 快速啟動選項
   • 可啟動 (Brev) 部署 – 執行一個 Notebook，在 AWS 上啟動 2×RTX PRO 6000 SE 執行個體並自動部署整個堆疊。
   • Docker-Compose 部署 – 安裝 Docker Engine (28.3.3 – < 29.5.0)、NVIDIA Container Toolkit，並在 Ubuntu 22.04/24.04、DGX 或 Jetson 平台上執行提供的 compose.yml。
3. 請按照官方文件中的逐步指南操作：https://docs.nvidia.com/vss/latest/quickstart.html。

文件與示範

• 現場示範：https://build.nvidia.com/nvidia/video-search-and-summarization
• 完整文件：https://docs.nvidia.com/vss/latest/index.html
• 儲存庫中包含架構圖 (assets/vss-architecture.png)。

授權 – 請參閱儲存庫的 LICENSE 檔案（標準 NVIDIA 開源條款）。

---

所有細節均直接取自儲存庫的 README；未推斷任何額外功能。