stereolabs/zed-sdk

What it solves

ZED SDK는 개발자가 인간과 유사한한 인지 능력을 애플리케이션에 통합할 수 있도록 하는 포괄적인 공간 인지 플랫폼을 제공합니다. 이는 ZED 카메라로부터 3D 정보를 추출하는 프로세스를 단순화하여, 개발자가 복잡한 컴퓨터 비전 알고리즘을 처음부터 구축할 필요 없이 실시간 깊이 감지, 객체 탐지 및 위치 추적을을 제공합니다.

How it works

이 SDK는 ZED 카메라와 인터페이스하는 크로스 플랫폼 라이브러리입니다. NVIDIA GPU를 사용하여 최적화된 신경망 깊이 모델과 컴퓨터 비전 파이프라인을 실행합니다. C++, Python, C#, C를 포함한 다양한 프로그래밍 언어를 지원하며, ROS, ROS 2, OpenCV, PyTorch와 같은 인기 있는 프레임워크와 통합됩니다. 최근 업데이트에서는 개발자가 외부에서 계산된 깊이 맵을 SDK의 전체 파이프라인 (point cloud, spatial mapping, 등)에 직접 입력할 수 있는 커스텀 깊이 모드를 도입했습니다.

Who it's for

ZED 카메라를 사용하는 로보틱스, 증강 현실 (AR), 및 컴퓨터 비전 애플리케이션을 개발하는 개발자를 위해 설계되었습니다. It supports a wide range of platforms from desktop PCs to embedded systems like NVIDIA Jetson.

Highlights

• Real-time Spatial Perception: 깊이 감지, 객체 탐지 및 Body Tracking을 위해 실시간 성능이 최적화되었습니다.
• Advanced Tracking: 위치 추적, 글로벌 로컬라이제이션 (위치 추적과 GNSS를 융합), 그리고 3D mesh 캡처를 위한 공간 매핑을 지원합니다.
• Neural Depth Models: NVIDIA GPU에 최적화된 경로를 가진 고성능 신경망 깊이 추론을 제공합니다.
• Extensible Pipeline: DEPTH_MODE::CUSTOM을 통해 실험적인 커스텀 깊이 알고리즘 지원을 제공합니다.
• Broad Integration: Unity, Unreal Engine 5, 및 YOLO와 PyTorch 같은 다양한 AI 프레임워크와 호합합니다.