NVIDIA-AI-IOT/live-vlm-webui

它解決的問題

Live VLM WebUI 提供了一個通用的網頁介面，用於即時與視覺語言模型（VLM）互動。它解決了將即時視訊串流（如網路攝影機或 IP 攝影機）輸入到各種 VLM 後端的困難，進而實現跨不同硬體平台的即時 AI 分析、基準測試與效能測試。

如何運作

該工具作為視訊來源與 VLM 後端之間的介面。它透過 WebRTC 或 RTSP 捕捉即時串流，並將畫格傳送至已設定的 VLM API（例如 Ollama、vLLM 或 NVIDIA NIM）。系統使用非同步處理，確保視訊串流順暢，同時在背景中由 AI 處理畫格。它還內建系統監控功能，可追蹤 GPU/CPU 使用率與推論延遲。

適用對象

專為從事視覺 AI、機器人技術與工業自動化的開發人員、AI 研究人員與工程師設計，提供快速測試與基準測試不同 VLM 在各種硬體（包括 NVIDIA Jetson、DGX 和一般個人電腦）上的方法。

主要特色

• 通用 API 支援：相容於 OpenAI 兼容 API，包括 Ollama、vLLM、SGLang 與 NVIDIA NIM。
• 即時監控：內建 GPU 使用率、VRAM、CPU 與 RAM 的即時追蹤，並搭配火花線圖顯示。
• 多來源輸入：支援 WebRTC 網路攝影機串流與 RTSP IP 攝影機。
• 跨平台支援：可在 x86_64 與 ARM64 架構上運作，包含 Jetson Orin 與 Thor 等特殊硬體。
• 互動式提示：內建提示編輯器，提供超過 10 種預設提示，適用於 OCR 與物件偵測等任務。