open-edge-platform/dlstreamer

解決する課題

DL Streamer は、ハードウェアアクセラレーションされたビデオおよびオーディオ分析パイプラインの作成を簡素化します。エッジ AI 展開のための広範なコード記述の複雑さを排除し、単純な文字列または最小限の Python/C++ コードを使用して、単純なオブジェクト検出から複雑なマルチセンサーシステムまで、インテリジェンスパイプラインを構築できるようにします。

仕組み

GStreamer フレームワーク上に構築され、OpenVINO を搭載した DL Streamer は、推論、分析、出力のための専門的な要素セットを提供します。ユーザーはパイプラインを文字列（gst-launch-1.0 経由）または API を通じて定義でき、フレームワークは Intel CPU、GPU、NPU 上で完全なハードウェアアクセラレーションで実行します。Hugging Face、Ultralytics、Geti などのソースからの多種多様なモデルをサポートし、結果公開のために MQTT や Kafka などのメッセージングシステムと統合します。

対象者

Intel ハードウェアをターゲットとするエッジ AI アプリケーションを開発する開発者向けに設計されており、ビデオ分析、3D センサー処理（LiDAR/レーダー）、または視覚言語モデル（VLM）を高いパフォーマンスと最小限の開発労力で展開する必要がある人向けです。

ハイライト

• ワンラインパイプライン：単一のコマンドラインで動作する検出パイプラインを作成。
• ハードウェアアクセラレーション：Intel CPU、GPU、NPU 向けの統一コードベース。
• VLM および GenAI サポート：MiniCPM-V、CLIP、Whisper などの視覚言語モデルをパイプライン内で実行可能。
• マルチセンサー統合：複数の RTSP ストリーム、LiDAR フレーム、レーダーポイントクラウドの多重化/分離をサポート。
• Python ファーストの拡張性：C++ を必要とせず、Python コールバックまたは要素を介してカスタムロジックを追加。
• 業界標準準拠：相互運用性のための GstAnalytics メタデータをサポート。