stereolabs/zed-sdk

⚡️The spatial perception framework for rapidly building smart robots and spaces

What it solves

ZED SDK 提供了一个全面的空间感知平台，使开发者能够将类人般的感测能力集成到他们的应用程序中。它简化了从 ZED 相机提取 3D 信息的过程，实现了实时深度感测、物体检测和位置追踪，而无需开发者从需从头开始构建这些复杂的计算机视觉算法。

How it works

该 SDK 是一个与 ZED 相机接口的跨平台库。它利用 NVIDIA GPU 来运行优化的神经网络深度模型和计算机视觉流水线。它支持多种编程语言 (C++, Python, C#, C) 并与 ROS, ROS 2, OpenCV, 和 PyTorch 等热门框架集成。最近的更新引入了自定义深度模式，允许开发者将自己外部计算的深度图输入到 SDK 的完整流水线 (point cloud, spatial mapping, 等) 中。

Who it's for

它是为使用 ZED 相机开发机器人、增强现实 (AR) 和计算机视觉应用的开发者设计的。它支持从桌面 PC 到 NVIDIA Jetson 等嵌入式系统等广泛的平台。

Highlights

  • Real-time Spatial Perception: 针对实时性能进行了优化，涵盖深度感测、物体检测和 Body Tracking。
  • Advanced Tracking: 包括位置追踪、全局定位 (将位置追踪与 GNSS 融合) 以及用于 3D mesh 捕捉的空间映射。
  • Neural Depth Models: 针对 NVIDIA GPU 优化的、高性能的神经网络深度推理。
  • Extensible Pipeline: 通过 DEPTH_MODE::CUSTOM 提供实验性的自定义深度算法支持。
  • Broad Integration: 兼容于 Unity, Unreal Engine 5, 和各种 AI 框架如 YOLO 和 PyTorch。