VisionDepth/VisionDepth3D

Generates 3D from 2D videos in multiple output formats using AI-powered depth mapping.

解決的問題

VisionDepth3D 是一個為創作者設計的全方位 3D 套件,可將 2D 圖像與影片轉換為 VR 與電影用的 3D 立體內容。它解決了在不需專業 3D 製作流程的情況下,從平面媒體生成高品質深度感知視差移動與立體效果的難題。

工作原理

該軟體採用結合 AI 驅動的深度估計與自訂立體邏輯的混合方法。它利用多種 AI 模型(如 Depth Anything v2、Marigold 和 ZoeDepth)生成深度圖,再透過 GPU 加速的立體畸變引擎進行處理。該引擎應用像素級視差移動、遮蔽修復與邊緣修復,以創造 3D 效果。此外,還包含深度融合(融合兩個深度來源)、RIFE 幀率插值與 Real-ESRGAN 放大功能。

適用對象

適用於希望將 2D 內容轉換為 Half-SBS、Full-SBS、VR180 與 Anaglyph 等 3D 格式的個人創作者、VR 愛好者與電影製作人。

主要亮點

  • AI 深度引擎:透過 PyTorch、TorchHub、Diffusers 與 ONNXRuntime 支援多種模型。
  • 立體合成器:支援主體錨定收斂、深度塑形與遮蔽修復。
  • 深度融合器:可融合兩個深度來源,產生更清晰的深度圖。
  • 即時 3D 沙盒:支援透過攝影機或螢幕擷取進行即時 2D 轉 3D,用於測試模型與控制。
  • 增強工具:整合 RIFE 用於高幀率生成,Real-ESRGAN 用於 4K 放大。
  • 彈性輸出:支援多種長寬比與容器格式(MP4、MKV、AVI),並支援硬體編碼(NVENC、AMF、QSV)。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案