NVlabs/Fast-FoundationStereo

何を解決するか

Fast-FoundationStereoは、ステレオマッチングにおける精度と速度のトレードオフを解決します。既存のステレオビジョン用のファウンデーションモデルは、再トレーニングなしで新しいデータに適用できる強力なゼロショット一般化を提供しますが、通常はリアルタイム処理には遅すぎます。一方、効率的なアーキテクチャはロバスト性に欠け、ドメイン固有の微調整に高コストがかかることが多くあります。このプロジェクトは、リアルタイムフレームレートで動作しながら高いゼロショット精度を維持するアーキテクチャのファミリーを提供します。

仕組み

このプロジェクトは、「分割して征服する」加速戦略を採用しており、以下の3つの主要な技術的要素から構成されています：

1. 知識蒸留：複雑なハイブリッドバックボーンを単一の効率的な学生モデルに圧縮します。
2. ブロック単位のニューラルアーキテクチャ探索（NAS）：特定のレイテンシ予算に基づいて最適なコストフィルタリング設計を自動的に発見し、探索の複雑さを低減します。
3. 構造的プルーニング：反復的精緻化モジュールからの冗長性を削除します。

トレーニングを支援するために、研究者はStereo4Dデータセットから140万件のリアルなステレオペアを収集し、合成データを補完するための自動擬似ラベルパイプラインを開発しました。

対象ユーザー

このツールは、ドメイン固有の微調整なしに高品質なステレオマッチングを必要とするリアルタイム深度推定、ロボット工学、コンピュータビジョンアプリケーションに取り組む開発者や研究者向けに設計されています。

特徴

• リアルタイム性能：オリジナルのFoundationStereoよりも10倍以上高速に実行可能。
• ゼロショット一般化：追加のトレーニングなしで未観測データに対して高い精度を維持。
• 柔軟なトレードオフ：valid_iters や scale などの設定フラグを用いて、速度と精度のバランスを調整可能。
• デプロイ可能：ONNXおよびTensorRT（TRT）へのエクスポートをサポートし、最適化されたGPU推論が可能。