NVIDIA-AI-Blueprints/video-search-and-summarization

NVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual Q&A, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.

해결 과제

이 프로젝트는 대량의 비디오 데이터를 분석, 검색 및 요약할 수 있는 GPU 가속 AI 에이전트를 구축하기 위한 참조 아키텍처를 제공합니다. 컴퓨터 비전, 비전 언어 모델(VLMs) 및 대규모 언어 모델(LLMs)을 결합하여 실시간 비디오 스트림이나 방대한 아카이브에서 실행 가능한 통찰력을 추출하는 어려움을 해결합니다.

작동 방식

이 시스템은 모듈식 마이크로서비스 기반 아키텍처를 기반으로 구축되었으며, 세 가지 주요 계층을 통해 비디오를 처리합니다:

  1. 실시간 비디오 인텔리전스: 비디오 스트림에서 시각적 특징, 임베딩 및 의미론적 메타데이터를 추출합니다.
  2. 다운스트림 분석: 원시 메타데이터를 구조화된 사건, 궤적 및 경고로 변환합니다.
  3. 에이전트 처리: 에이전트 프레임워크(Model Context Protocol 지원)를 사용하여 사용자가 자연어를 통해 비디오 데이터와 상호 작용할 수 있도록 하며, Q&A, 장시간 비디오 요약 및 자동 경고 검증과 같은 작업을 가능하게 합니다.

대상 사용자

이 청사진은 비전 AI 애플리케이션을 구축하는 개발자와 엔지니어를 위해 설계되었습니다. 특히 다음 사용자에게 유용합니다:

  • 비디오 분석가 및 IT 엔지니어: 강력한 비디오 모니터링, 검색 및 보고 시스템을 배포해야 하는 전문가.
  • GenAI/ML 엔지니어: VLM/LLM 기능을 기존 비디오 인프라에 통합하기 위해 사용자 정의 가능하고 확장 가능한 파이프라인이 필요한 전문가.

주요 특징

  • 자연어 상호 작용: 평이한 영어로 비디오 아카이브나 실시간 스트림을 쿼리합니다.
  • 실시간 경고 검증: VLM을 사용하여 감지된 이벤트를 검증함으로써 보안 또는 운영 모니터링에서의 오탐지를 줄입니다.
  • 장시간 비디오 요약: 긴 비디오 영상에 대해 구조화된 보고서와 이벤트 요약을 자동으로 생성합니다.
  • 모듈식 아키텍처: 비디오 수집, 분석 및 에이전트 워크플로우를 위한 사전 구성된 마이크로서비스가 포함되어 있으며, Docker Compose 또는 Helm을 통해 배포할 수 있습니다.

관련

  • 프로젝트
    NVIDIA-BioNeMo/bionemo-agent-toolkit

    NVIDIA BioNeMo Agent Toolkit은 LLM 에이전트(Claude-Code, Codex 등)가 NVIDIA의 생명과학 모델 및 도구를 호출할 수 있도록 하는 즉시 설치 가능한 '스킬'을 제공하며, 단백질 설계, 구조 예측, 가상 스크리닝, 유전체학 및 화학정보학을 다룹니다. 스킬은 `skills` CLI 또는 네이티브 플러그인 마켓플레이스를 통해 설치할 수 있으며, 스크립트와 단계별 지침, 그리고 에이전트의 성능 향상을 측정하기 위한 평가 하네스가 포함되어 있습니다.

  • 프로젝트
    NVIDIA/NeMo-Agent-Toolkit

    NVIDIA NeMo Agent Toolkit(NAT)은 LLM 기반 AI 에이전트에 엔터프라이즈급 계측, 프로파일링, 최적화를 추가하는 오픈소스 Python SDK입니다. LangChain, CrewAI, Semantic Kernel 등 인기 프레임워크와 호환되며, CLI(`nat`), UI, 프로토콜 지원(MCP, A2A), 실험적 런타임 인텔리전스(Dynamo)를 제공합니다. `pip install nvidia-nat`으로 설치하고 YAML로 에이전트 워크플로를 정의하여 실행, 평가 또는 서비스로 제공할 수 있습니다.

  • 프로젝트
    Merserk/dlss5-visual-enhancer

    Visual Enhancer는 NVIDIA DLSS 5 Neural Rendering, DLSS Super-Resolution, RTX Video SR, 프레임 생성, HDR 변환, 샤프닝, 그레인 및 컬러 그레이딩을 이미지와 비디오에 적용할 수 있는 Windows 데스크톱(및 CLI) 앱입니다. 드래그 앤 드롭, 일괄 처리 파이프라인, 실시간 미리보기 및 JSON 사전 설정을 제공하며, RTX GPU에서 AI 지원 업스케일링 및 향상이 필요한 크리에이터를 대상으로 합니다.

  • 프로젝트
    NVIDIA-AI-Blueprints/rag

    A reference solution for building enterprise RAG pipelines using NVIDIA NIM microservices, supporting multimodal data extraction and agentic multi‑hop retrieval.

  • Dispatch
    NVIDIA Nemotron을 활용한 도메인 특화 임베딩 파인튜닝 – 하루 안에

    NVIDIA와 Hugging Face는 단일 GPU, 하루 안에 완료되는 파이프라인을 공개했으며, Llama‑Nemotron‑Embed‑1B‑v2 모델을 합성 도메인 데이터로 파인튜닝하여 10% 이상의 검색 성능 향상과 실제 기업 데이터셋에서 최대 26% 개선을 달성했습니다.