VisionDepth/VisionDepth3D

何を解決するか

VisionDepth3D は、2D イメージや動画を VR および映画用の 3D ステレオコンテンツに変換するための包括的な 3D ソフトウェアです。専門的な 3D 制作パイプラインを必要とせずに、平面メディアから高品質な深度認識パララックスシフトとステレオ効果を生成する難しさに対処します。

動作方法

このソフトウェアは、AI駆動の深度推定とカスタムステレオ論理を組み合わせたハイブリッドアプローチを使用しています。Depth Anything v2、Marigold、ZoeDepth などのさまざまな AI モデルを活用して深度マップを生成し、GPUアクセラレートされたステレオワーピングエンジンで処理します。このエンジンはピクセル単位のパララックスシフト、オクルージョン修復、エッジ修復を適用して 3D 効果を生成します。さらに、深度融合（2つの深度ソースのブレンド）、RIFE による FPS 拡張、Real-ESRGAN による拡大処理のツールも搭載しています。

対象ユーザー

個人クリエイター、VR愛好家、映画制作関係者で、2D コンテンツを Half-SBS、Full-SBS、VR180、アナグリフなどの 3D 形式に変換したい方。

主な特徴

• AI深度エンジン：PyTorch、TorchHub、Diffusers、ONNXRuntime を通じて幅広いモデルをサポート。
• ステレオコンポーザー：主体固定のコンバージェンス、深度の形状調整、オクルージョン修復を実装。
• 深度ブレンドツール：2つの深度ソースを融合してクリーンなマップを生成可能。
• ライブ 3D サンドボックス：カメラまたはスクリーンキャプチャを使って、リアルタイムで 2D から 3D への変換をテスト可能。
• 強化ツール：高フレームレート生成の RIFE と 4K 拡大の Real-ESRGAN を統合。
• 柔軟な出力：複数のアスペクト比とコンテナ形式（MP4、MKV、AVI）をサポートし、ハードウェアエンコーディング（NVENC、AMF、QSV）に対応。