NVIDIA-AI-IOT/live-vlm-webui

何を解決するか

Live VLM WebUIは、Vision Language Models (VLMs) とリアルタイムで対話するためのユニバーサルなウェブインターフェースを提供します。これは、ライブビデオフィード（ウェブカメラやIPカメラなど）をさまざまなVLMバックエンドにストリーミングし、異なるハードウェアプラットフォーム全体で即座にAIによる分析、ベンチマーク、およびパフォーマンス試験を行う際の困難さを解決します。

どのように動作するか

このツールは、ビデオソースとVLMバックエンドの間のインターフェースとして機能します。WebRTCまたはRTSPを介してライブストリームをキャプチャし、設定されたVLM API（Ollama、vLLM、またはNVIDIA NIMなど）にフレームを送信します。システムは非同期処理を使用して、AIがバックグラウンドでフレームを処理している間もビデオフィードがスムーズに保たれるようにします。また、GPU/CPUの使用率と推論レイテンシを追跡するための組み込みのシステムモニタリングも含まれています。

対象ユーザー

これは、NVIDIA Jetson、DGX、および標準的なPCを含むさまざまなハードウェア上で、異なるVLMを迅速にテストおよびベンチマークする方法を必要とする、ビジョンAI、ロボティクス、および産業オートメーションに従事する開発者、AI研究者、およびエンジニア向けに設計されています。

ハイライト

• Universal API Support: OpenAI互換API（Ollama、vLLM、SGLang、およびNVIDIA NIMを含む）と互換性があります。
• Real-time Monitoring: スパークラインチャートを使用したGPU使用率、VRAM、CPU、およびRAMの統合されたライブトラッキングを提供します。
• Multi-source Input: WebRTCウェブカメラストリーミングとRTSP IPカメラをサポートしています。
• Cross-Platform: Jetson OrinやThorなどの特殊なハードウェアを含む、x86_64およびARM64アーキテクチャ全体で動作します。
• Interactive Prompting: OCRや物体検出などのタスクのための10以上のプリセットプロンプトを備えたプロンプトエディタが含まれています。