stereolabs/zed-sdk

⚡️The spatial perception framework for rapidly building smart robots and spaces

What it solves

ZED SDK 提供了一個全面的空間感知平台，讓開發者能夠將類人般的感測能力整合到他們的應用程式中。它簡化了從 ZED 相機提取 3D 資訊的過程，實現了即時深度感測、物件偵測與位置追蹤，而不需要開發者從頭開始構建這些複雜的電腦視覺演算法。

How it works

此 SDK 是一個與 ZED 相機介面的跨平台函式庫。它利用 NVIDIA GPU 來執行優化的神經網路深度模型與電腦視覺管線。它支援多種程式語言 (C++, Python, C#, C) 並與 ROS, ROS 2, OpenCV, 以及 PyTorch 等熱門框架整合。最近的更新引入了自定義深度模式，允許開發者將自己外部計算的深度圖輸入到 SDK 的完整管線 (point cloud, spatial mapping, 等) 中。

Who it's for

它是為使用 ZED 相機開發機器人、擴增實境 (AR) 與電腦視覺應用程式的開發者所設計的。它支援從桌上型電腦到 NVIDIA Jetson 等嵌入式系統的廣泛平台。

Highlights

  • Real-time Spatial Perception: 優化的即時性能，涵蓋深度感測、物件偵測與 Body Tracking。
  • Advanced Tracking: 包含位置追蹤、全域定位 (將位置追蹤與 GNSS 融合) 以及用於 3D mesh 擷取的空間映射。
  • Neural Depth Models: 針對 NVIDIA GPU 優化的、高性能的神經網路深度推論。
  • Extensible Pipeline: 透過 DEPTH_MODE::CUSTOM 提供實驗性的自定義深度演算法支援。
  • Broad Integration: 相容於 Unity, Unreal Engine 5, 以及各種 AI 框架如 YOLO 與 PyTorch。