NVlabs/SimFoundry

解決的問題

SimFoundry 能夠從短時間的真實世界影片自動建立物理準備就緒的模擬場景。它消除了在建立機器人研究用數位雙生時所需的繁瑣手動標註與3D建模工作，讓使用者能在一小時內將桌面或房間的影片轉換為功能完整的模擬環境。

工作原理

該系統採用由三個主要階段組成的模組化流程：

1. 重建：一個13階段的流程，輸入影片後執行物件分割、深度估計、2D至3D網格生成與姿態估計，以建構適用於 OmniGibson 模擬器的場景。
2. 增強：利用視覺語言模型（VLM）提出並生成「數位雙胞胎」——即在幾何、外觀與拓撲結構上與原始物件不同的變體，並建議潛在的操作任務。
3. 應用：將重建後的場景整合至 OmniGibson 中，用於機器人策略評估、遠端操控與測試。

適用對象

專為需要高保真模擬環境來訓練與評估機器人策略的研究人員與開發者設計，尤其適用於關注模擬到現實轉移（sim-to-real transfer）的使用者。

主要亮點

• 完全自動化：無需手動標註，即可將真實影片轉換為模擬場景。
• 模組化設計：各組件可獨立更換，隨著新基礎模型發布，可靈活升級整個流程。
• 數位雙胞胎：自動產生多樣化的物件變體，提升策略泛化能力。
• 物理準備就緒：輸出包含物理參數，並支援 USD/OmniGibson 匯出。
• 整合式編輯器：包含基於瀏覽器的輕量級編輯器，用於快速組合，以及基於 OmniGibson 的編輯器，用於物理精度調整。