SpatiaOS/Procedura
Agentic 3D Modeling with Procedural Control — turns a text prompt into an editable parametric program, with optional per-part materials and articulation.
解决的问题
Procedura可以从简单的文本提示或参考图像创建可编辑的参数化3D模型。与传统的AI 3D生成(生成点云或三角形网格等“静态”几何体)不同,Procedura生成源代码(OpenSCAD),可以打开、编辑和重新编译,从而对结果对象进行精确控制。
工作原理
该系统使用冻结的大语言模型(LLM)来编写参数化程序。它遵循多阶段流水线:
- 规划:将对象分解为命名部件的列表。
- 起草:逐个构建这些部件,可选择使用3D反馈(迄今为止构建的渲染)来指导过程。
- 精炼:进入渲染、批评反馈和修补的循环,以改进形状。
- 后处理:可以通过视觉调用分配PBR材质,并规划关节结构,以便将运动导出到OpenUSD或URDF。
适用人群
- 3D设计师:希望获得参数化模型的起点,并手动细化的人。
- 机器人工程师:需要具有定义关节结构和URDF导出的3D模型用于物理验证的人。
- 开发者:希望从文本或图像生成结构化3D装配,而无需专门的3D训练模型的人。
亮点
- 可编辑输出:生成OpenSCAD代码而不是原始网格,使几何体参数化且可修改。
- 代理工作流:使用渲染-批评-修补循环迭代优化3D模型。
- 参考引导:支持使用参考图像显著提高重建的保真度。
- 装配逻辑:可以实现真正的配合特征(销、插座、螺栓),而不是简单的重叠部件。
- 运动支持:将关节结构导出到OpenUSD和URDF,可选在NVIDIA Isaac Sim中进行验证。
相关
- 项目
- 项目
- 项目
- 项目