PhiloLabs/fable51-worlds

worlds via code, from fable 5.1

解決的問題

本專案根據簡單的提示(文字、影像或影片)建立可行走的3D虛擬環境。它以「世界即程式碼」的方法取代傳統的手動3D建模或像素式AI生成,讓現實世界地點能在瀏覽器中實現精確、可驗證且可編輯的重建。

作法原理

該系統使用AI代理群的流程,將簡短提示轉換為Three.js應用程式:

  1. 偵察:研究代理收集地圖幾何、高程資料與街道規格。
  2. 資產生成:腳本產生必要的3D元件(建築物、街道家具、植被)作為程式碼或JSON規格。
  3. 執行時:Three.js應用將這些元件組合成可行走的場景。
  4. 驗證:系統使用Playwright拍攝螢幕截圖,並與真實照片進行比對,獨立的審查代理(建築師、地理學家)提交報告以修復缺陷。

適用對象

對合成環境、數位雙生、以及用於動畫、機器人模擬或RPG的代理式世界建構感興趣的開發者、技術藝術家與研究人員。

主要亮點

  • 程式碼驅動生成:每個元件皆由程式碼生成,而非專有3D瓦片或下載的網格,使世界可透過diff完全編輯。
  • 多模態輸入:可從單一句子、照片或影片片段生成世界。
  • 可驗證的準確性:使用與真實世界照片的自動比對,確保幾何與視覺保真度。
  • 無需遊戲引擎:以輕量級Three.js應用形式交付,可直接於瀏覽器中執行。

相關

  • 專案
  • 專案
  • 專案
  • 專案