open-edge-platform/dlstreamer

何を解決するか

DL Streamer は、ハードウェアアクセラレーションを活用した動画および音声分析パイプラインを構築するためのフレームワークです。単一のコマンドラインから生産環境向けエッジAIデプロイまでを簡素化し、複雑なメディアインテリジェンスタスクを実装するためのコード量を大幅に削減します。

仕組み

GStreamer を基盤とし、OpenVINO で駆動されるこのフレームワークは、パイプラインを単純な文字列または Python/C++ コードで定義できます。これらのパイプラインは、推論、分析、出力に特化した要素を使用します。Intel CPU、GPU、NPU ハードウェアをターゲットとして最適化されたパフォーマンスを提供します。Hugging Face、Ultralytics、Geti などのソースから多様なモデルをサポートし、RTSPストリーム、LiDAR、レーダー点群を含むマルチストリーム・マルチセンサー入力を処理できます。

対象ユーザー

リアルタイムでIntelハードウェア上でメディアストリームにディープラーニング推論を統合する必要があるエッジAIアプリケーションを開発する開発者向けに設計されています。

特徴

• 1行でパイプライン作成: 単一の gst-launch-1.0 コマンドで動作する検出パイプラインを構築可能。
• ハードウェアアクセラレーション: Intel CPU、GPU、NPU 用の統合コードベース。
• GenAI および VLM 対応: パイプライン内で Vision-Language Models（例：MiniCPM-V、CLIP、Whisper）を実行可能。
• 拡張性: Pythonコールバックまたは完全なPython GStreamer要素を用いてカスタムロジックを追加可能。
• 統合機能: MQTT や Kafka への推論結果の直接公開をサポートする組み込み要素。
• センサーフュージョン: マルチストリーム処理および LiDAR やレーダーなどの3Dセンサーをサポート。