open-edge-platform/dlstreamer

解决的问题

DL Streamer 简化了硬件加速视频和音频分析流水线的创建。它消除了为边缘 AI 部署编写大量代码的复杂性，允许用户使用简单的字符串或最少的 Python/C++ 代码构建智能流水线——从简单的对象检测到复杂的多传感器系统。

工作原理

DL Streamer 基于 GStreamer 框架构建，并由 OpenVINO 驱动，提供一组专门用于推理、分析和输出的元素。用户可以将流水线定义为字符串（通过 gst-launch-1.0）或通过 API，框架随后在 Intel CPU、GPU 和 NPU 上以完全硬件加速的方式执行。它支持来自 Hugging Face、Ultralytics 和 Geti 等来源的各种模型，并与 MQTT 和 Kafka 等消息系统集成以发布结果。

适用对象

它专为开发边缘 AI 应用程序的开发者设计，特别是针对 Intel 硬件，需要以高性能和最少开发工作量部署视频分析、3D 传感器处理（LiDAR/雷达）或视觉语言模型（VLM）的开发者。

亮点

• 一行流水线：使用单个命令行即可创建可工作的检测流水线。
• 硬件加速：统一的代码库，支持 Intel CPU、GPU 和 NPU。
• VLM 与 GenAI 支持：可在流水线中运行 MiniCPM-V、CLIP 和 Whisper 等视觉语言模型。
• 多传感器集成：支持多个 RTSP 流、LiDAR 帧和雷达点云的多路复用/解复用。
• Python 优先的可扩展性：通过 Python 回调或元素添加自定义逻辑，无需 C++。
• 符合行业标准：支持 GstAnalytics 元数据以实现互操作性。