PhiloLabs/fable51-worlds
worlds via code, from fable 5.1
解决的问题
该项目基于简单的提示(文本、图像或视频)创建可步行的3D虚拟环境。它用“世界即代码”的方法取代了传统的手动3D建模或基于像素的AI生成,使现实世界地点能够在浏览器中实现精确、可验证且可编辑的重建。
工作原理
该系统使用AI代理群的流水线,将简短提示转换为Three.js应用程序:
- 侦察:研究代理收集地图几何、高程数据和街道规格。
- 资产生成:脚本生成必要的3D组件(建筑、街道家具、植被)作为代码或JSON规范。
- 运行时:Three.js应用将这些组件组装成可步行的场景。
- 验证:系统使用Playwright拍摄截图,并与真实照片进行对比,独立的评审代理(建筑师、地理学家)提交报告以修复缺陷。
适用人群
对合成环境、数字孪生、以及用于动画、机器人模拟或RPG的基于代理的世界构建感兴趣的开发者、技术艺术家和研究人员。
主要亮点
- 基于代码生成:每个元素均由代码生成,而非专有3D瓦片或下载的网格,使得世界可通过diff完全编辑。
- 多模态输入:可从单个句子、照片或视频片段生成世界。
- 可验证的准确性:使用与真实世界照片的自动对比,确保几何和视觉保真度。
- 无需游戏引擎:以轻量级Three.js应用形式交付,可直接在浏览器中运行。
相关
- 项目
- 项目
- 项目
- 项目