NVIDIA-AI-Blueprints/video-search-and-summarization
NVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual Q&A, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.
NVIDIA AI Blueprint – Video Search & Summarization (VSS)
概要 – 自然言語クエリを使用して、ライブまたは録画された動画の検索、分析、要約、推論が可能な GPU 加速動画 AI エージェントの構築方法を示すリファレンス実装です。ビジョン言語モデル (VLM)、大規模言語モデル (LLM)、検索拡張生成 (RAG)、NVIDIA NIM マイクロサービスを統合しています。
主な機能
- 自然言語動画検索 – 密な埋め込みで動画ストリームをインデックス化し、テキストクエリで関連クリップを取得します。
- 長時間動画の要約 – 数時間の映像をチャンク化し、密なキャプションを生成して、簡潔な要約に集約します。
- 視覚的 Q&A とレポート生成 – クリップについて質問すると、VLM が回答と整形されたレポートを生成します。
- リアルタイムアラート検証 – オブジェクト検出および追跡パイプラインがアラートを発行し、VLM がそれらを検証して誤検知を減らします。
- モジュラーマイクロサービススタック – リアルタイム特徴抽出、下流分析、エージェントオーケストレーションによるオフラインツール用の個別サービス。
構成
| レイヤー | 役割 |
|---|---|
| リアルタイム動画インテリジェンス | ストリームから視覚的特徴、埋め込み、メタデータを抽出し、メッセージブローカーにパブリッシュします。 |
| 下流分析 | メタデータをリッチ化（行動分析、インシデント検出）し、結果を Elasticsearch/Redis に保存します。 |
| エージェント & オフライン処理 | Model Context Protocol (MCP) を介してツールをオーケストレーションし、検索、Q&A、要約、クリップ取得を実行します。 |
主なコンポーネント
- NIM マイクロサービス – Cosmos3 Nano Reasoner や Nemotron-Nano-9B-v2 などの事前構築済み NVIDIA モデル。
services/agent/– Python エージェントコード（ツール、API、埋め込み、エバリュエーター）。services/ui/– エージェントと対話するための Next.js フロントエンド。services/analytics/– 生の動画分析を検索可能なインシデントに変換する Python および Node.js パイプライン。deploy/– クラウドまたはオンプレミスハードウェアに迅速にデプロイするための Docker-Compose ファイル、Helm チャート、Brev 起動スクリプト。tools/– Redis/Kafka ストリームのコンシューマー、logstash プラグイン、データセット生成とキャリブレーション用ユーティリティ。skills/– 他のエージェントが VSS 機能を呼び出せるようにする Agentskills 互換のスキルパッケージ。
対象者
- 動画分析とレポート作成のためのすぐに使えるソリューションを必要とする動画アナリスト / IT エンジニア。
- パイプラインのカスタマイズ、モデルの入れ替え、または VSS をより大規模なビジョンエージェントシステムに統合したい GenAI / ML エンジニア。
はじめに
- 前提条件 – NVIDIA AI Enterprise ライセンス、NIM モデルの API キー、互換性のある GPU（正確な GPU リストは NVIDIA ドキュメントを参照）。
- クイックスタートオプション
- 起動可能 (Brev) デプロイメント – ノートブックを実行し、AWS 上で 2×RTX PRO 6000 SE インスタンスを起動してスタック全体を自動的にデプロイします。
- Docker-Compose デプロイメント – Docker Engine (28.3.3 – < 29.5.0)、NVIDIA Container Toolkit をインストールし、Ubuntu 22.04/24.04、DGX、または Jetson プラットフォームで提供されている
compose.ymlを実行します。
- 公式ドキュメントのステップバイステップガイドに従ってください：https://docs.nvidia.com/vss/latest/quickstart.html。
ドキュメント & デモ
- ライブデモ：https://build.nvidia.com/nvidia/video-search-and-summarization
- 完全なドキュメント：https://docs.nvidia.com/vss/latest/index.html
- アーキテクチャ図はリポジトリ (
assets/vss-architecture.png) に含まれています。
ライセンス – リポジトリの LICENSE ファイルを参照してください（標準的な NVIDIA オープンソース条項）。
すべての詳細はリポジトリの README から直接取得したものです。追加の機能は推測されていません。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト