stereolabs/zed-sdk

解决的问题

ZED SDK 提供了一个全面的空间感知平台，使开发者能够将类似人类的感知能力集成到他们的应用程序中。它简化了从 ZED 相机提取 3D 信息的过程，支持实时深度感知、物体检测和位置跟踪，而无需开发者从头构建这些复杂的计算机视觉算法。

工作原理

该 SDK 是一个与 ZED 相机交互的跨平台库。它使用神经深度模型来计算深度图和 3D 点云。它还包括用于位置跟踪和全局定位的 SLAM（同步定位与地图构建）模块，以及用于身体跟踪和物体检测的专门 AI 模型。该 SDK 可以集成到多种编程语言（C++、Python、C#、C）以及 ROS、ROS 2、Unity 和 Unreal Engine 5 等环境中。

适用人群

使用 ZED 相机并需要实时 3D 感知、空间映射和环境理解的机器人、AR/VR 和空间 AI 应用开发者。

亮点

• 实时性能： 针对 NVIDIA GPU 进行了优化，确保所有算法实时运行。
• 神经深度感知： 高性能深度推理，支持通过 DEPTH_MODE::CUSTOM 使用自定义深度算法。
• 空间感知： 包括内置的物体检测、身体跟踪和平面检测功能。
• 一套全面的工具： 用于位置跟踪、全局定位和 3D 网格捕获（空间映射）。
• 广泛集成： 支持多种语言和第三方库，如 PyTorch、YOLO 和 OpenCV。