open-edge-platform/dlstreamer

Deep Learning Streamer (DL Streamer) Pipeline Framework is an open-source streaming media analytics framework, based on GStreamer* multimedia framework, for creating complex media analytics pipelines for the Cloud or at the Edge.

What it solves

DL Streamer은 하드웨어 가속된 비디오 및 오디오 분석 파이프라인 생성을 간소화합니다. 간단한 문자열이나 최소한의 Python/C++ 코드를 사용해 생산 수준의 지능형 파이프라인(간단한 객체 감지부터 멀티 센서 배포까지)을 구축함으로써 엣지 AI를 위한 방대한 코드 작성의 복잡성을 제거합니다.

How it works

GStreamer 프레임워크를 기반으로 하고 OpenVINO로 구동되는 DL Streamer은 처리 파이프라인을 형성하기 위해 연결할 수 있는 전문 요소(플러그인) 세트를 제공합니다. 이러한 파이프라인은 단일 코드베이스로 Intel CPU, GPU, NPU를 대상으로 할 수 있습니다. Hugging Face, Ultralytics, Geti와 같은 출처에서 다양한 모델을 지원하며, MQTT 및 Kafka와 같은 메시징 시스템과 직접 통합하여 추론 결과를 출력할 수 있습니다.

Who it’s for

Intel 하드웨어를 대상으로 하는 엣지 AI 애플리케이션을 구축하는 개발자를 위해 설계되었으며, 높은 성능과 낮은 개발 오버헤드로 비디오 분석, 3D 센서 처리(LiDAR/Radar), 또는 비전-언어 모델(VLM)을 배포해야 하는 경우에 적합합니다.

Highlights

One-line pipelines: 단일 gst-launch-1.0 명령으로 기능적인 감지 파이프라인을 생성합니다.
Broad hardware acceleration: Intel CPU, GPU, NPU에 대한 통합 지원.
GenAI and VLM ready: MiniCPM-V, CLIP, Whisper와 같은 비전-언어 모델을 실행할 수 있습니다.
Multi-sensor support: 하나의 프로세스에서 여러 RTSP 스트림, LiDAR 프레임, 레이더 포인트 클라우드를 멀티플렉스 및 디멀티플렉스할 수 있는 기능.
Python-first extensibility: Python 콜백 또는 완전한 Python GStreamer 요소를 통해 사용자 정의 로직을 추가할 수 있습니다.