princeton-vl/infinigen
Infinite Photorealistic Worlds using Procedural Generation
해결하는 문제
Infinigen은 포토리얼리스틱한 3D 세계와 에셋을 절차적으로 생성하여, 수동 3D 모델링이나 제한된 기존 3D 데이터셋에 대한 의존성을 제거합니다. 컴퓨터 비전 및 로봇 공학 연구에 사용할 수 있도록 자연, 실내 장면 및 관절형 시뮬레이션 에셋의 무한한 변형을 생성하는 확장 가능한 방법을 제공합니다.
작동 방식
이 프로젝트는 수동 작업 대신 알고리즘과 규칙을 통해 콘텐츠를 생성하는 절차적 생성 방식을 사용합니다. Blender와 통합되어 3D 장면, 재질 및 객체를 생성합니다. 시스템은 다음과 같은 전문 모듈로 나뉩니다:
- Infinigen Nature: 포토리얼리스틱한 자연 환경을 생성합니다.
- Infinigen Indoors: 포토리얼리스틱한 실내 장면을 생성합니다.
- Infinigen Articulated: 관절(예: 움직이거나 열 수 있는 객체)이 있는 시뮬레이션용 에셋을 생성합니다。
- ProcFunc: 3D 절차적 생성을 위한 Python 기반 추상화 레이어.
대상 사용자
AI 모델 학습을 위해 고품질의 다양하고 정답(ground-truth) 주석이 달린 3D 데이터가 필요한 컴퓨터 비전, 로봇 공학 및 시뮬레이션 분야의 연구자를 위해 설계되었습니다.
주요 특징
- 무한한 다양성: 독특한 3D 환경과 객체를 끊임없이 생성합니다.
- 다중 환경 지원: 자연, 실내 공간 및 관절형 객체를 모두 다룹니다.
- 시뮬레이션 준비 완료: 에셋을 외부 파일 형식(OBJ, OpenUSD) 및 물리 시뮬레이터로 내보낼 수 있습니다.
- 정답(Ground Truth) 제공: 생성된 데이터에 대해 확장된 정답 주석을 제공합니다.
관련
- 프로젝트
HorizonRobotics/EmbodiedGenA generative 3D world engine that converts text and images into simulation-ready 3D assets and environments for embodied AI, deployable across multiple robotics simulators.
- 프로젝트
ZiYang-xie/WorldGenWorldGen은 텍스트 프롬프트나 이미지를 몇 초 만에 몰입형 3D 씬으로 생성하는 도구이며, Gaussian Splatting과 메쉬 출력 모두를 지원해 VR, 게임, 시뮬레이션에 활용할 수 있습니다.
- 프로젝트
- 프로젝트
LiteReality/LiteReality-AgentLiteReality‑Agent is an open‑source toolkit that converts a phone‑captured RGB‑D scan (via the LiteReality iOS app) into a fully‑articulated, graphics‑ready indoor 3D scene. An LLM‑driven agent coordinates vision models (TRELLIS, GroundingDINO) and Blender to generate, place, and polish objects, producing GLB/BLEND assets usable in game engines, AR/VR, or robotics. It runs on macOS or Linux, can use Modal’s cloud GPUs or a local ≥24 GB GPU, and requires API keys for image generation and the LLM.
- 프로젝트
Tencent-Hunyuan/HY-World-2.0텍스트, 이미지 또는 동영상을 입력으로 받아 게임 엔진에서 사용할 수 있는 편집 가능한 3D 자산(메시 및 Gaussian Splattings)을 생성하고 재구성하는 멀티모달 월드 모델 프레임워크입니다.