junhong-3dv/s2m2

解决的问题

S²M² 为立体匹配提供了高性能解决方案，立体匹配是从两个偏移的相机图像中计算深度信息的过程。它解决了对可靠、可扩展的深度估计的需求，能够同时预测视差、遮挡和置信度水平。

工作原理

它使用专为立体匹配设计的深度学习架构，该架构基于针孔相机模型运行。模型将一对校正后的立体图像作为输入，通过可扩展的网络处理它们以输出深度图。它包含一个迭代细化模块以提高精度，并支持多种精度模式（FP16/FP32）以平衡速度和性能。该架构针对部署进行了优化，允许转换为 ONNX 和 TensorRT 格式以进行实时推理。

适用人群

该项目面向从事 3D 重建、机器人技术或自主系统的研究人员和计算机视觉工程师，他们需要最先进的深度估计能力。对于那些希望使用 NVIDIA 硬件在生产环境中部署高精度立体匹配模型的人来说，它尤其有用。

亮点

• 在主要基准测试（包括 ETH3D、Middlebury V3 和 Booster）上具有最先进的性能。
• 联合估计视差、遮挡和置信度，以获得更稳健的深度图。
• 高度优化部署，支持 TorchScript、ONNX 和 TensorRT。
• 提供多种模型尺寸（S、M、L、XL），允许用户在计算速度和精度之间进行权衡。