NVlabs/SimFoundry

何を解決するか

SimFoundry は短い実世界の動画から物理的に準備されたシミュレーションシーンの作成を自動化します。ロボット工学研究のためのデジタルツインを構築する際、手動のアノテーションや面倒な3Dモデリングの必要性を排除し、テーブルトップや部屋の動画を1時間未満で機能的なシミュレーション環境に変換できます。

仕組み

このシステムは、3つの主要ステージからなるモジュール式パイプラインを使用しています。

1. 再構築: 動画を入力として、13段階のプロセスでオブジェクトのセグメンテーション、深度推定、2Dから3Dメッシュ生成、ポーズ推定を行い、OmniGibsonシミュレータ用のシーンを構成します。
2. 拡張: ビジョン言語モデル（VLM）を使用して、「デジタルいとこ」（形状、外観、トポロジーの異なるオリジナルオブジェクトのバリエーション）を提案・生成し、潜在的な操作タスクを提案します。
3. 応用: 再構築されたシーンをOmniGibsonに統合し、ロボットポリシーの評価、遠隔操作、テストに使用します。

対象ユーザー

シミュレーションから現実への転送（sim-to-real transfer）に注力するロボット研究者や開発者向けに設計されています。高精度なシミュレーション環境を訓練や評価に使用する必要がある方々に最適です。

特徴

• 完全自動化: 手動アノテーションなしで実世界の動画をシミュレーションに変換可能。
• モジュール式設計: コンポーネントは独立して交換可能。新しい基礎モデルがリリースされるたびにパイプラインの改善が可能。
• デジタルいとこ: 自動的に多様なオブジェクトのバリエーションを生成し、ポリシーの汎化能力を向上。
• 物理準備完了: 物理パラメータ付きのシーンを出力し、USD/OmniGibsonエクスポートに対応。
• 統合エディタ: すばやい構成用のブラウザベースのライトエディタと、物理的に正確な調整用のOmniGibsonベースエディタを備えています。