NVIDIA-AI-Blueprints/video-search-and-summarization
NVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual Q&A, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.
NVIDIA AI Blueprint – Video Search & Summarization (VSS)
개요 – 자연어 쿼리를 사용하여 라이브 또는 녹화된 비디오를 검색, 분석, 요약 및 추론할 수 있는 GPU 가속 비디오 AI 에이전트 구축 방법을 보여주는 참조 구현입니다. 비전 언어 모델 (VLM), 대형 언어 모델 (LLM), 검색 증강 생성 (RAG) 및 NVIDIA NIM 마이크로 서비스를 통합합니다.
주요 기능
- 자연어 비디오 검색 – 조밀한 임베딩으로 비디오 스트림을 인덱싱하고 텍스트 쿼리를 통해 관련 클립을 검색합니다.
- 긴 비디오 요약 – 몇 시간 분량의 영상을 청크로 나누고, 조밀한 캡션을 생성하여 간결한 요약으로 종합합니다.
- 시각적 Q&A 및 보고서 생성 – 클립에 대해 질문하면 VLM이 답변과 형식화된 보고서를 생성합니다.
- 실시간 알림 검증 – 객체 감지 및 추적 파이프라인이 알림을 발생시키고, VLM이 이를 검증하여 오탐지를 줄입니다.
- 모듈식 마이크로 서비스 스택 – 실시간 특징 추출, 다운스트림 분석 및 에이전트 오케스트레이션 오프라인 도구를 위한 별도의 서비스.
구성 방식
| 계층 | 역할 |
|---|---|
| 실시간 비디오 인텔리전스 | 스트림에서 시각적 특징, 임베딩 및 메타데이터를 추출하여 메시지 브로커에 게시합니다. |
| 다운스트림 분석 | 메타데이터(행동 분석, 사건 감지)를 보강하고 결과를 Elasticsearch/Redis에 저장합니다. |
| 에이전트 및 오프라인 처리 | Model Context Protocol (MCP)을 통해 도구를 오케스트레이션하여 검색, Q&A, 요약 및 클립 검색을 수행합니다. |
주요 구성 요소
- NIM 마이크로 서비스 – Cosmos3 Nano Reasoner 및 Nemotron-Nano-9B-v2와 같은 사전 구축된 NVIDIA 모델.
services/agent/– Python 에이전트 코드(도구, API, 임베딩, 평가자).services/ui/– 에이전트와 상호 작용하는 Next.js 프론트엔드.services/analytics/– 원시 비디오 분석을 검색 가능한 인시던트로 변환하는 Python 및 Node.js 파이프라인.deploy/– 클라우드 또는 온프레미스 하드웨어에 빠르게 배포하기 위한 Docker-Compose 파일, Helm 차트 및 Brev 시작 스크립트.tools/– Redis/Kafka 스트림의 컨슈머, logstash 플러그인, 데이터셋 생성 및 보정을 위한 유틸리티.skills/– 다른 에이전트가 VSS 기능을 호출할 수 있게 하는 Agentskills 호환 기술 패키지.
대상 독자
- 비디오 분석 및 보고를 위한 즉시 실행 가능한 솔루션이 필요한 비디오 분석가 / IT 엔지니어.
- 파이프라인을 사용자 정의하거나, 모델을 교체하거나, VSS를 더 큰 비전 에이전트 시스템에 통합하려는 GenAI / ML 엔지니어.
시작하기
- 필수 조건 – NVIDIA AI Enterprise 라이선스, NIM 모델용 API 키, 호환 가능한 GPU(정확한 GPU 목록은 NVIDIA 문서 참조).
- 빠른 시작 옵션
- 실행 가능 (Brev) 배포 – 노트북을 실행하여 AWS에서 2×RTX PRO 6000 SE 인스턴스를 시작하고 전체 스택을 자동으로 배포합니다.
- Docker-Compose 배포 – Docker Engine (28.3.3 – < 29.5.0), NVIDIA Container Toolkit을 설치하고 Ubuntu 22.04/24.04, DGX 또는 Jetson 플랫폼에서 제공된
compose.yml을 실행합니다.
- 공식 문서의 단계별 가이드를 따르세요: https://docs.nvidia.com/vss/latest/quickstart.html.
문서 및 데모
- 라이브 데모: https://build.nvidia.com/nvidia/video-search-and-summarization
- 전체 문서: https://docs.nvidia.com/vss/latest/index.html
- 아키텍처 다이어그램은 리포지토리(
assets/vss-architecture.png)에 포함되어 있습니다.
라이선스 – 리포지토리의 LICENSE 파일을 참조하세요(표준 NVIDIA 오픈 소스 약관).
모든 세부 정보는 리포지토리의 README에서 직접 가져온 것입니다. 추가 기능은 추론되지 않았습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트