PhiloLabs/fable51-worlds
worlds via code, from fable 5.1
解決的問題
本專案根據簡單的提示(文字、影像或影片)建立可行走的3D虛擬環境。它以「世界即程式碼」的方法取代傳統的手動3D建模或像素式AI生成,讓現實世界地點能在瀏覽器中實現精確、可驗證且可編輯的重建。
作法原理
該系統使用AI代理群的流程,將簡短提示轉換為Three.js應用程式:
- 偵察:研究代理收集地圖幾何、高程資料與街道規格。
- 資產生成:腳本產生必要的3D元件(建築物、街道家具、植被)作為程式碼或JSON規格。
- 執行時:Three.js應用將這些元件組合成可行走的場景。
- 驗證:系統使用Playwright拍攝螢幕截圖,並與真實照片進行比對,獨立的審查代理(建築師、地理學家)提交報告以修復缺陷。
適用對象
對合成環境、數位雙生、以及用於動畫、機器人模擬或RPG的代理式世界建構感興趣的開發者、技術藝術家與研究人員。
主要亮點
- 程式碼驅動生成:每個元件皆由程式碼生成,而非專有3D瓦片或下載的網格,使世界可透過diff完全編輯。
- 多模態輸入:可從單一句子、照片或影片片段生成世界。
- 可驗證的準確性:使用與真實世界照片的自動比對,確保幾何與視覺保真度。
- 無需遊戲引擎:以輕量級Three.js應用形式交付,可直接於瀏覽器中執行。
相關
- 專案
- 專案
- 專案
- 專案