dreamers-laboratory/image-to-3d-pipeline

Reconstruct 3D meshes from images with several open-source models and score which did it best.

해결하는 문제

다양한 오픈소스 이미지에서 3D 재구성 모델을 비교할 수 있는 표준화된 파이프라인을 제공합니다. 사용 가능한 모델들 중에서 명확한 우승자가 없기 때문에, 이 프로젝트는 동일한 입력 이미지에 대해 여러 모델을 실행하고 일관된 검사 프로토콜을 사용하여 출력물을 평가할 수 있도록 합니다.

작동 방식

이 파이프라인은 네 단계의 프로세스를 따릅니다:

전처리: 원본 렌더링에서 투명한 오브젝트 전용 마스크를 생성합니다.
재구성: TRELLIS, TripoSR, stable-fast-3d, Hunyuan3D-2와 같은 다양한 제3자 모델을 사용하여 3D 메시를 생성합니다.
평가: 고정된 Blender 오르빗으로 각 결과 메시를 렌더링하여 시각적 평가를 위한 컨택트 시트를 생성합니다.
탐색: 최종 선택된 메시를 WebGL 기반 브라우저 탐색기로 불러와 상호작용 가능한 뷰를 제공합니다.

대상 사용자

특정 자산에 가장 적합한 AI 모델을 결정하기 위해 다른 AI 모델의 품질을 객관적으로 비교하고자 하는 개발자 및 연구자에게 적합합니다.

주요 특징

비교 프레임워크: 여러 최신 재구성 도구를 하나의 워크플로우에 통합합니다.
표준화된 평가: 공정한 모델 간 비교를 보장하기 위해 고정된 Blender 검사 프로토콜을 사용합니다.
WebGL 통합: 재구성된 3D 오브젝트를 탐색할 수 있는 브라우저 기반 탐색기를 포함합니다.
다중 뷰 지원: 여러 시점의 오브젝트 이미지 시트에서 시작하여 다중 뷰 추론을 처리합니다.

dreamers-laboratory/image-to-3d-pipeline

해결하는 문제

작동 방식

대상 사용자

주요 특징

관련