stereolabs/zed-sdk

What it solves

ZED SDK は、開発者が人間のような知覚能力をアプリケーションに統合できる、包括的な空間知覚プラットフォームを提供します。ZED カメラから 3D 情報を取り出すプロセスを簡素化し、開発者が複雑なコンピュータビジョンアルゴリズムをゼロから構築する必要なしに、リアルタイムの深度センシング、物体検知、および位置トラッキングを可能にします。

How it works

この SDK は、ZED カメラとインターフェースするクロスプラットフォームライブラリです。NVIDIA GPU を利用して、最適化されたニューラル深度モデルとコンピュータビジョンパイプラインを実行します。C++, Python, C#, C を含む複数のプログラミング言語をサポートし、ROS, ROS 2, OpenCV, および PyTorch と統合可能です。最近のアップデートでは、開発者が外部で計算した深度マップを SDK のフルパイプライン (point cloud, spatial mapping, 等) に入力できるカスタム深度モードが導入されました。

Who it's for

ZED カメラを使用して、ロボティクス、拡張現実 (AR)、およびコンピュータビジョンアプリケーションを開発する開発者向けに設計されています。デスクトップ PC から NVIDIA Jetson のような組み込みシステムまで、幅広いプラットフォームをサポートします。

Highlights

• Real-time Spatial Perception: 深度センシング、物体検知、および Body Tracking にわたって、リアルタイム性能が最適化されています。
• Advanced Tracking: 位置トラッキング、グローバルローカリゼーション (位置トラッキングと GNSS を融合)、および 3D mesh 捕捉のための空間マッピングを提供します。
• Neural Depth Models: NVIDIA GPU に最適化されたパスを備えた、高性能なニューラル深度推論。
• Extensible Pipeline: DEPTH_MODE::CUSTOM を介して、カスタム深度アルゴリズムの実験的サポートを提供します。
• Broad Integration: Unity, Unreal Engine 5, および YOLO や PyTorch といった様々な AI フレームワークと互換性があります。