open-edge-platform/dlstreamer

해결하는 문제

DL Streamer는 하드웨어 가속을 활용한 비디오 및 오디오 분석 파이프라인을 구축하기 위한 프레임워크입니다. 단일 명령어로 시작하는 간단한 프로토타입에서부터 생산 수준의 엣지 AI 배포까지의 과정을 간소화하여, 복잡한 미디어 인텔리전스 작업을 구현하기 위한 코드 양을 크게 줄입니다.

작동 방식

GStreamer를 기반으로 하며 OpenVINO로 구동되는 이 프레임워크는 파이프라인을 간단한 문자열 또는 Python/C++ 코드로 정의할 수 있습니다. 이러한 파이프라인은 추론, 분석, 출력에 특화된 요소를 사용합니다. Intel CPU, GPU, NPU 하드웨어를 대상으로 최적화된 성능을 제공합니다. Hugging Face, Ultralytics, Geti 등의 소스에서 다양한 모델을 지원하며, RTSP 스트림, LiDAR, 레이더 포인트 클라우드를 포함한 멀티스트림 및 멀티센서 입력을 처리할 수 있습니다.

대상 사용자

실시간으로 Intel 하드웨어에서 미디어 스트림에 딥러닝 추론을 통합해야 하는 엣지 AI 애플리케이션 개발자를 위한 것입니다.

주요 특징

• 1줄 파이프라인: 단일 gst-launch-1.0 명령어로 작동하는 탐지 파이프라인을 생성할 수 있습니다.
• 하드웨어 가속: Intel CPU, GPU, NPU용 통합 코드베이스.
• GenAI 및 VLM 지원: 파이프라인 내에서 Vision-Language Models (예: MiniCPM-V, CLIP, Whisper)를 실행할 수 있습니다.
• 확장성: Python 콜백 또는 완전한 Python GStreamer 요소를 통해 사용자 정의 로직을 추가할 수 있습니다.
• 통합 기능: MQTT 또는 Kafka로 추론 결과를 직접 게시할 수 있는 내장 요소를 제공합니다.
• 센서 융합: 멀티스트림 처리 및 LiDAR, 레이더와 같은 3D 센서를 지원합니다.