img2threejs: 一个分阶段雕刻流水线,能够从单张图像重建对象为过程化 Three.js 代码
img2threejs: 一个分阶段雕刻流水线,能够从单张图像重建对象为过程化 Three.js 代码
它解决了什么
它解决了将单张参考图像转换为高质量、可直接用于动画的 3D 模型的困难。与其使用沉重的网格文件或摄影测量,不如生成轻量级的过程化代码,可直接在网页浏览器中渲染。
它是如何工作的
该项目使用一个分阶段雕刻流水线,其中 AI 代理(如 Claude Code)充当雕塑者。该过程遵循严格的顺序:块状化、结构通道、形状细化、材质通道、表面通道、照明通道、交互通道和优化通道。每个阶段都由 Python 脚本把关,这些脚本会根据参考图像验证工作。在进入下一个阶段之前,代理必须通过视觉审查(将并排渲染与原图进行比较)。这确保了最终输出是一个 TypeScript 工厂,它使用原始体、过程化着色器和生成的几何体来构建对象。
它适用于谁
- 游戏开发者 寻找轻量级、基于代码的 3D 资产。
- 网页开发者 需要无需大文件下载的可直接用于动画的 Three.js 模型。
- AI 工程师 构建用于 3D 资产生成的代理工作流。
亮点
- 高效令牌设计:使用确定性的 Python 脚本进行验证和记录,仅在视觉判断时保留昂贵的 LLM 令牌。
- 可直接用于动画:生成包括枢轴、插座和碰撞体的运行时层次结构。
- 过程化重建:从代码(原始体和着色器)重建对象,而不是提取网格。
- 与代理无关:通过基于技能的架构,设计为可与各种 AI 编码工具和视觉模型协作。
Summary
一个代理流水线,能够将单张参考图像转换为完全用 TypeScript 编写的过程化、可直接用于动画的 Three.js 模型。
Title
img2threejs: 一个分阶段雕刻流水线,能够从单张图像重建对象为过程化 Three.js 代码