open-edge-platform/dlstreamer

Deep Learning Streamer (DL Streamer) Pipeline Framework is an open-source streaming media analytics framework, based on GStreamer* multimedia framework, for creating complex media analytics pipelines for the Cloud or at the Edge.

它解决了什么

DL Streamer 简化了硬件加速视频和音频分析管道的创建。它通过允许开发者使用简单的字符串或最少的 Python/C++ 代码来构建生产级智能管道（从简单的目标检测到多传感器部署），消除了为边缘 AI 编写大量代码的复杂性。

它是如何工作的

基于 GStreamer 框架并由 OpenVINO 提供动力，DL Streamer 提供了一组专用元素（插件），这些元素可以链接在一起形成处理管道。这些管道可以从单一代码库针对 Intel CPU、GPU 和 NPU。它支持来自 Hugging Face、Ultralytics 和 Geti 等来源的广泛模型，并且可以直接与 MQTT 和 Kafka 等消息系统集成，以输出推理结果。

它面向谁

它专为构建边缘 AI 应用的开发者设计，特别是那些针对 Intel 硬件、需要以高性能和低开发开销部署视频分析、3D 传感器处理（LiDAR/Radar）或视觉语言模型（VLMs）的开发者。

亮点

单行管道：使用单个 gst-launch-1.0 命令创建功能检测管道。
广泛的硬件加速：统一支持 Intel CPU、GPU 和 NPU。
GenAI 和 VLM 已就绪：能够运行视觉语言模型，如 MiniCPM-V、CLIP 和 Whisper。
多传感器支持：能够在一个进程中混合和分离多个 RTSP 流、LiDAR 帧和雷达点云。
Python 首先的可扩展性：允许通过 Python 回调或完整的 Python GStreamer 元素添加自定义逻辑。