open-edge-platform/dlstreamer

Deep Learning Streamer (DL Streamer) Pipeline Framework is an open-source streaming media analytics framework, based on GStreamer* multimedia framework, for creating complex media analytics pipelines for the Cloud or at the Edge.

What it solves

DL Streamer は、ハードウェアアクセラレーションされたビデオおよびオーディオ分析パイプラインの作成を簡素化します。シンプルな文字列または最小限の Python/C++ コードを使用して本番レベルのインテリジェンスパイプライン（単純なオブジェクト検出からマルチセンサー展開まで）を構築できるようにすることで、エッジ AI のための大量のコードを書く複雑さを取り除きます。

How it works

GStreamer フレームワークに基づき、OpenVINO で駆動される DL Streamer は、処理パイプラインを形成するために連結できる専用のエレメント（プラグイン）のセットを提供します。これらのパイプラインは、単一のコードベースから Intel CPU、GPU、NPU を対象とすることができます。Hugging Face、Ultralytics、Geti などのソースから幅広いモデルをサポートし、MQTT や Kafka などのメッセージングシステムに直接統合して推論結果を出力することもできます。

Who it’s for

これは、インテルハードウェアを対象とするエッジ AI アプリケーションを開発する開発者向けに設計されており、高いパフォーマンスと低い開発オーバーヘッドでビデオ分析、3D センサー処理（LiDAR/Radar）、または Vision-Language モデル（VLM）を展開する必要がある開発者を対象としています。

Highlights

ワンラインパイプライン: 単一の gst-launch-1.0 コマンドを使用して機能的な検出パイプラインを作成します。
広範なハードウェアアクセラレーション: Intel CPU、GPU、NPU の統合サポート。
GenAI と VLM 対応: MiniCPM-V、CLIP、Whisper などの Vision-Language モデルを実行可能。
マルチセンサーサポート: 1 つのプロセスで複数の RTSP ストリーム、LiDAR フレーム、レーダーポイントクラウドの多重化および分離が可能。
Python ファーストの拡張性: Python コールバックまたは完全な Python GStreamer エレメントを介してカスタムロジックを追加できます。