NVlabs/SimFoundry

해결하는 문제

SimFoundry는 짧은 실세계 영상에서 물리적 준비가 완료된 시뮬레이션 장면을 자동으로 생성합니다. 로보틱스 연구를 위한 디지털 트윈을 구축할 때 수작업 레이블링이나 번거로운 3D 모델링이 필요 없으며, 테이블이나 방의 영상을 1시간 이내에 기능적인 시뮬레이션 환경으로 변환할 수 있습니다.

작동 방식

이 시스템은 세 가지 주요 단계로 구성된 모듈식 파이프라인을 사용합니다.

1. 재구성: 영상을 입력으로 받아 13단계 프로세스를 통해 객체 세그멘테이션, 깊이 추정, 2D에서 3D 메시 생성, 자세 추정을 수행하여 OmniGibson 시뮬레이터용 장면을 구성합니다.
2. 증강: 비전 언어 모델(VLM)을 사용해 기존 객체의 기하학적, 외관적, 토폴로지적 변형을 제안하고 생성하며, 잠재적인 조작 작업을 제안합니다.
3. 응용: 재구성된 장면을 OmniGibson에 통합하여 로봇 정책 평가, 원격 조작, 테스트에 활용합니다.

대상 사용자

시뮬레이션에서 실제 환경으로의 전이(sim-to-real transfer)에 초점을 맞춘 로봇 연구자 및 개발자에게 적합합니다. 로봇 정책 학습 및 평가를 위한 고정밀 시뮬레이션 환경이 필요한 분들께 최적입니다.

주요 특징

• 완전 자동화: 수작업 레이블링 없이 실세계 영상을 시뮬레이션으로 변환 가능.
• 모듈식 설계: 구성 요소가 독립적으로 교체 가능하여 새로운 기초 모델 출시 시 파이프라인 개선이 가능.
• 디지털 쌍둥이: 다양한 객체 변형을 자동으로 생성하여 정책의 일반화 능력 향상.
• 물리적 준비 완료: 물리적 파라미터와 함께 USD/OmniGibson 내보내기 지원.
• 통합 에디터: 빠른 조합을 위한 브라우저 기반 라이트 에디터와 물리적 정확도 조정을 위한 OmniGibson 기반 에디터 포함.