VisionDepth/VisionDepth3D

해결하는 문제

VisionDepth3D는 2D 이미지와 동영상을 VR 및 영화용 3D 스테레오 콘텐츠로 변환하기 위한 종합적인 3D 솔루션입니다. 전문적인 3D 제작 파이프라인 없이도 평면 미디어에서 고품질의 깊이 인식 파라락스 이동 및 스테레오 효과를 생성하는 어려움을 해결합니다.

작동 방식

이 소프트웨어는 AI 기반 깊이 추정과 맞춤형 스테레오 논리를 결합한 하이브리드 접근 방식을 사용합니다. Depth Anything v2, Marigold, ZoeDepth 등의 다양한 AI 모델을 활용해 깊이 맵을 생성한 후, GPU 가속 스테레오 왜곡 엔진을 통해 처리합니다. 이 엔진은 픽셀 단위의 파라락스 이동, 가림 처리 복구, 에지 보정을 적용하여 3D 효과를 생성합니다. 또한 두 개의 깊이 소스를 융합하는 깊이 융합 기능, FPS 보간을 위한 RIFE, 확대를 위한 Real-ESRGAN 도 포함되어 있습니다.

대상 사용자

개인 크리에이터, VR 애호가, 영화 제작자 중 2D 콘텐츠를 Half-SBS, Full-SBS, VR180, 안아글리프 형식의 3D로 변환하고자 하는 분들입니다.

주요 기능

• AI 깊이 엔진: PyTorch, TorchHub, Diffusers, ONNXRuntime를 통해 다양한 모델을 지원합니다.
• 스테레오 컴포저: 주체 기반 컨버전스, 깊이 형태 조정, 가림 처리 복구 기능을 제공합니다.
• 깊이 블렌더: 두 개의 깊이 소스를 융합하여 더 깨끗한 맵을 생성할 수 있습니다.
• 라이브 3D 샌드박스: 카메라 또는 화면 캡처를 통해 실시간으로 2D에서 3D로 변환하여 모델과 컨트롤을 테스트할 수 있습니다.
• 강화 도구: 고프레임 생성을 위한 RIFE와 4K 확대를 위한 Real-ESRGAN이 통합되어 있습니다.
• 유연한 출력: 다양한 비율과 컨테이너 형식(MP4, MKV, AVI)을 지원하며 하드웨어 인코딩(NVENC, AMF, QSV)을 활용합니다.