NVIDIAGameWorks/kaolin

해결하는 문제

Kaolin은 GPU 최적화된 재사용 가능한 블록을 제공함으로써 3D 딥러닝 연구를 가속화하기 위한 PyTorch 라이브러리입니다. 메시, 포인트 클라우드, 가우시안 스플래트와 같은 다양한 3D 표현을 다루는 과정을 단순화하고, 미분 가능한 렌더링 및 물리 시뮬레이션 도구를 제공합니다. 이러한 기능들은 일반적으로 직접 구현하기가 매우 복잡합니다.

작동 방식

Kaolin은 여러 전문적인 3D 연산을 통합한 일관된 PyTorch API를 제공합니다. Simplicits를 통한 표현에 독립적인 물리 시뮬레이션, nvdiffrast 및 DIB-R와 같은 미분 가능한 렌더링 엔진, GPU 오크트리 가속 구조(Structured Point Clouds)를 제공합니다. 또한 다양한 3D 형식 간의 변환(예: 복셀 그리드 → 메시)을 처리하고, 쿼터니언 수학 및 USD I/O 유틸리티도 제공합니다.

대상 사용자

주로 3D 딥러닝, 컴퓨터 비전, 컴퓨터 그래픽스 분야에서 일하는 연구자 및 개발자에게 적합하며, 특히 PyTorch를 사용하는 사용자에게 적합합니다.

주요 기능

• 표현에 독립적인 물리 시뮬레이션: 메시, 스플래트, 포인트 클라우드의 충돌을 지원합니다.
• 3D 가우시안 스플래팅: GaussianSplatModel에 대한 1급 지원, PLY/USD I/O 및 밀도화 기능 포함.
• 미분 가능한 렌더링: PBR, 구면 조화, 구면 가우시안 조명을 위한 도구 포함.
• USD 파이프라인: 메시, 포인트 클라우드, 물리적 재질의 임포트 및 익스포트를 위한 커스텀 스키마.
• 빠른 변환: 메시, 복셀 그리드, 포인트 클라우드, 가우시안 간의 GPU 가속 변환.
• 구조화된 포인트 클라우드: 레이 트레이싱 및 특징 그리드용 GPU 오크트리 가속.