open-edge-platform/dlstreamer

해결하는 문제

DL Streamer는 하드웨어 가속 비디오 및 오디오 분석 파이프라인 생성을 간소화합니다. 에지 AI 배포를 위한 광범위한 코드 작성의 복잡성을 제거하여, 간단한 객체 감지부터 복잡한 다중 센서 시스템까지 인텔리전스 파이프라인을 간단한 문자열 또는 최소한의 Python/C++ 코드로 구축할 수 있게 합니다.

작동 방식

GStreamer 프레임워크를 기반으로 하고 OpenVINO로 구동되는 DL Streamer는 추론, 분석 및 출력을 위한 특수 요소 세트를 제공합니다. 사용자는 파이프라인을 문자열(gst-launch-1.0 통해) 또는 API를 통해 정의할 수 있으며, 프레임워크는 Intel CPU, GPU 및 NPU에서 완전한 하드웨어 가속으로 실행합니다. Hugging Face, Ultralytics 및 Geti와 같은 소스의 다양한 모델을 지원하며, 결과 게시를 위해 MQTT 및 Kafka와 같은 메시징 시스템과 통합됩니다.

대상 사용자

Intel 하드웨어를 대상으로 하는 에지 AI 애플리케이션을 개발하는 개발자를 위해 설계되었으며, 비디오 분석, 3D 센서 처리(LiDAR/레이더) 또는 비전-언어 모델(VLM)을 높은 성능과 최소한의 개발 노력으로 배포해야 하는 사람들을 위한 것입니다.

주요 특징

• 한 줄 파이프라인: 단일 명령줄로 작동하는 감지 파이프라인 생성.
• 하드웨어 가속: Intel CPU, GPU 및 NPU를 위한 통합 코드베이스.
• VLM 및 GenAI 지원: MiniCPM-V, CLIP 및 Whisper와 같은 비전-언어 모델을 파이프라인 내에서 실행 가능.
• 다중 센서 통합: 여러 RTSP 스트림, LiDAR 프레임 및 레이더 포인트 클라우드의 다중화/역다중화 지원.
• Python 우선 확장성: C++ 없이 Python 콜백 또는 요소를 통해 사용자 정의 로직 추가.
• 업계 표준 준수: 상호 운용성을 위한 GstAnalytics 메타데이터 지원.