open-edge-platform/dlstreamer

解決的問題

DL Streamer 是一個用於建立硬體加速視訊與音訊分析流程的框架。它簡化了從簡單原型（例如單行指令）到生產級邊緣 AI 部署的過程，大幅減少實作複雜媒體智慧任務所需的程式碼量。

工作原理

基於 GStreamer 並由 OpenVINO 驅動，此框架允許使用者以簡單的字串或 Python/C++ 程式碼定義流程。這些流程使用專用元件進行推論、分析與輸出。針對 Intel CPU、GPU 與 NPU 硬體進行最佳化，以達成高效能。支援來自 Hugging Face、Ultralytics、Geti 等多種模型來源的廣泛模型，並可處理多串流、多感測器輸入，包含 RTSP 流、LiDAR 與雷達點雲。

適用對象

專為需要在 Intel 硬體上即時將深度學習推論整合至媒體串流的邊緣 AI 應用開發者設計。

主要特色

• 一行指令流程：僅需單一 gst-launch-1.0 指令即可建立可運作的偵測流程。
• 硬體加速：Intel CPU、GPU、NPU 使用統一程式碼庫。
• 支援 GenAI 與 VLM：可在流程中執行視覺-語言模型（例如 MiniCPM-V、CLIP、Whisper）。
• 可擴充性：可透過 Python 回呼或完整 Python GStreamer 元件加入自訂邏輯。
• 整合功能：內建元件可直接將推論結果發布至 MQTT 或 Kafka。
• 感測器融合：支援多串流處理與 LiDAR、雷達等 3D 感測器。