img2threejs: 通过 agent-led sculpting 从图像重建对象的程序化 Three.js 模型生成器
img2threejs: 通过 agent-led sculpting 从图像重建对象的程序化 Three.js 模型生成器
它解决了什么问题
img2threejs 将对象或角色的单张参考图像转换为程序化 Three.js 模型。与摄影测量或网格提取不同,它使用仅代码几何、基本图元和程序化着色器重建对象,确保结果对 AI 代理而言是可动画化且令牌高效的。
它是如何工作的
该项目使用分阶段的雕塑管道,将 AI 代理(如 Claude Code)与确定性的 Python 脚本集成。该过程遵循一系列严格的构建步骤:
- 分析:系统将主题(对象、角色或混合体)进行分类,并创建一个
detailInventory,其中包含定义身份的特征(如倒角、螺丝、光泽等)。 - 规格:它编写一个
ObjectSculptSpecJSON,用于定义组件树和材料。 - 迭代雕塑:模型通过以下 passes 构建(blockout $\rightarrow$ structural $\rightarrow$ form refinement $\rightarrow$ material $\rightarrow$ surface $\rightarrow$ lighting $\rightarrow$ interaction $\rightarrow$ optimization)。
- 审查循环:每个 pass 之后,Python 脚本会生成一个并排比较表(参考 vs. 渲染)。AI 代理会审查渲染结果,并根据视觉分数决定是
continue、refine-spec还是refine-code。 - 输出:最终结果是一个 TypeScript 工厂函数,返回一个带有运行时层次结构(枢纽、插槽和碰撞体)的
THREE.Group,用于动画。
适用人群
希望通过图像生成 3D 资产而不依赖于沉重的网格文件或手动建模的开发者和技术艺术家,特别是那些使用 AI 代理来自动化 3D 创建工作流程的人。
亮点
- 仅代码重构:生成 TypeScript 代码而非二进制网格文件,使资产可进行差异比较和版本控制。
- 与代理无关:适用于任何具备视觉和浏览器工具的代理(例如 Claude Code、Codex)。
- 令牌高效:将机械任务(验证、PBR 提取、比较打包)卸载到 Python 脚本中,以节省模型令牌。
- 可动画化:包含一个带有枢纽和插槽的运行时层次结构,而不是生成静态网格。
- 严格的质量门槛:在规格足够详细以匹配对象复杂度之前,防止代码生成。