SpatiaOS/Procedura

해결하는 문제

Procedura는 간단한 텍스트 프롬프트나 참조 이미지에서 편집 가능한 파라메트릭 3D 모델을 생성할 수 있게 합니다. 포인트 클라우드나 삼각형 메시와 같은 "정적" 지오메트리를 생성하는 기존 AI 3D 생성과 달리, Procedura는 소스 코드(OpenSCAD)를 생성하여 열고, 편집하고, 다시 컴파일할 수 있으므로 결과 객체를 정밀하게 제어할 수 있습니다.

작동 방식

이 시스템은 고정된 대규모 언어 모델(LLM)을 사용하여 파라메트릭 프로그램을 작성합니다. 다단계 파이프라인을 따릅니다:

1. 계획: 객체를 명명된 부품 목록으로 분해합니다.
2. 초안 작성: 이 부품들을 하나씩 구축하며, 선택적으로 3D 피드백(지금까지 빌드된 렌더링)을 사용하여 프로세스를 안내합니다.
3. 정제: 렌더링, 비평가 피드백, 패치 루프를 통해 형태를 개선합니다.
4. 후처리: 비전 호출을 통해 PBR 재질을 할당하고, 모션 내보내기를 위한 관절 구조를 계획하여 OpenUSD 또는 URDF로 내보낼 수 있습니다.

대상 사용자

• 3D 디자이너: 수동으로 정제할 수 있는 파라메트릭 모델의 시작점을 원하는 분.
• 로보틱스 엔지니어: 물리 검증을 위해 정의된 관절 구조와 URDF 내보내기가 필요한 3D 모델이 필요한 분.
• 개발자: 특수 3D 학습 모델 없이 텍스트나 이미지에서 구조화된 3D 어셈블리를 생성하려는 분.

주요 특징

• 편집 가능한 출력: 원시 메시 대신 OpenSCAD 코드를 생성하여 지오메트리를 파라메트릭하고 수정 가능하게 만듭니다.
• 에이전트형 워크플로우: 렌더-비평-패치 루프를 사용하여 3D 모델을 반복적으로 정제합니다.
• 참조 이미지 안내: 참조 이미지를 사용하여 재구성의 정확도를 크게 높일 수 있습니다.
• 조립 로직: 단순한 겹치는 부품 대신 실제 결합 기능(핀, 소켓, 볼트)을 구현할 수 있습니다.
• 모션 지원: 관절 구조를 OpenUSD 및 URDF로 내보내고, 선택적으로 NVIDIA Isaac Sim에서 검증할 수 있습니다.