NVIDIA-AI-IOT/live-vlm-webui

What it solves

Live VLM WebUI는 Vision Language Models (VLMs)와 실시간으로 상호작용할 수 있는 범용 웹 인터페이스를 제공합니다. 이는 웹캠이나 IP 카메라와 같은 라이브 비디오 피드를 다양한 VLM 백엔드로 스트리밍하여, 다양한 하드웨어 플랫폼에서 즉각적인 AI 기반 분석, 벤치마킹 및 성능 테스트를 수행하는 데 따르는 어려움을 해결합니다.

How it works

이 도구는 비디오 소스와 VLM 백엔드 사이의 인터페이스 역할을 합니다. WebRTC 또는 RTSP를 통해 라이브 스트림을 캡처하고 구성된 VLM API (Ollama, vLLM 또는 NVIDIA NIM과 같은)로 프레임을 전송합니다. 시스템은 비동기 처리를 사용하여 AI가 백그라운드에서 프레임을 처리하는 동안 비디오 피드가 매끄럽게 유지되도록 합니다. 또한 GPU/CPU 사용량 및 추론 지연 시간을 추적하기 위한 내장 시스템 모니터링 기능이 포함되어 있습니다.

Who it’s for

이 도구는 NVIDIA Jetson, DGX 및 표준 PC를 포함한 다양한 하드웨어에서 다양한 VLM을 빠르게 테스트하고 벤치마킹할 수 있는 방법이 필요한 비전 AI, 로보틱스 및 산업 자동화 분야의 개발자, AI 연구원 및 엔지니어를 위해 설계되었습니다.

Highlights

• Universal API Support: OpenAI-compatible APIs, Ollema, vLLM, SGLang 및 NVIDIA NIM과 호환됩니다.
• Real-time Monitoring: 스파크라인 차트를 통해 GPU 사용률, VRAM, CPU 및 RAM의 통합 라이브 트래킹을 제공합니다.
• Multi-source Input: WebRTC 웹캠 스트리밍 및 RTSP IP 카메라를 지원합니다.
• Cross-Platform: Jetson Orin 및 Thor와 같은 특수 하드웨어를 포함하여 x86_64 및 ARM64 아키텍처에서 작동합니다.
• Interactive Prompting: OCR 및 객체 탐지(object detection)와 같은 작업을 위한 10개 이상의 사전 설정된 프롬프트가 포함된 프롬프트 에디터를 포함합니다.