VisionDepth/VisionDepth3D

解决的问题

VisionDepth3D 是一个面向创作者的全功能 3D 套件，用于将 2D 图像和视频转换为 VR 和电影用的 3D 立体内容。它解决了无需专业 3D 制作流程即可从平面媒体生成高质量深度感知的视差移动和立体效果的难题。

工作原理

该软件采用结合 AI 驱动的深度估计与自定义立体逻辑的混合方法。它利用多种 AI 模型（如 Depth Anything v2、Marigold 和 ZoeDepth）生成深度图，然后通过 GPU 加速的立体畸变引擎进行处理。该引擎应用像素级视差移动、遮挡修复和边缘修复，以创建 3D 效果。此外，还包含深度融合（融合两个深度源）、RIFE 帧率插值和 Real-ESRGAN 放大功能。

适用人群

适用于希望将 2D 内容转换为 Half-SBS、Full-SBS、VR180 和 Anaglyph 等 3D 格式的个人创作者、VR 爱好者和电影制作人。

主要亮点

• AI 深度引擎：通过 PyTorch、TorchHub、Diffusers 和 ONNXRuntime 支持多种模型。
• 立体合成器：支持主体锚定汇聚、深度塑形和遮挡修复。
• 深度融合器：可融合两个深度源，生成更清晰的深度图。
• 实时 3D 沙盒：支持通过摄像头或屏幕捕获进行实时 2D 到 3D 转换，用于测试模型和控制。
• 增强工具：集成 RIFE 用于高帧率生成，Real-ESRGAN 用于 4K 放大。
• 灵活输出：支持多种宽高比和容器格式（MP4、MKV、AVI），并支持硬件编码（NVENC、AMF、QSV）。