img2threejs: 一個程序化的 Three.js 模型生成器,透過 agent-led 雕塑從圖像重建物體

img2threejs: 一個程序化的 Three.js 模型生成器,透過 agent-led 雕塑從圖像重建物體

一個工具,使用階段式 agent-led 雕塑管線,將單一參考圖像轉換為程序化且可動畫的 Three.js 模型。

img2threejs: 一個程序化的 Three.js 模型生成器,透過 agent-led 雕塑從圖像重建物體

它解決了什麼

img2threejs 將單一參考圖像(物體或角色)轉換為程序化的 Three.js 模型。與 photogrammetry 或網格提取不同,它僅使用程式碼幾何、基本圖形和程序著色器來重建物體,確保結果對 AI 代理而言是可動畫的且 token 高效。

它是如何運作的

該專案使用階段式雕塑管線,將 AI 代理(如 Claude Code)與確定性的 Python 腳本結合。該過程遵循嚴格的構建通過序列:

  1. 分析:系統將主體(物體、角色或混合體)進行分類,並建立一個 detailInventory,其中包含定義身份的特徵(如倒角、螺絲、光澤等)。
  2. 規格:它編寫一個 ObjectSculptSpec JSON,用於定義組件樹和材料。
  3. 迭代雕塑:模型透過以下通過構建:(blockout $\rightarrow$ structural $\rightarrow$ form refinement $\rightarrow$ material $\rightarrow$ surface $\rightarrow$ lighting $\rightarrow$ interaction $\rightarrow$ optimization)。
  4. 審查循環:每個通過之後,Python 腳本會生成一個側邊比較表(參考圖 vs. 渲染圖)。AI 代理會根據視覺分數檢查渲染結果,並決定是 continuerefine-spec 還是 refine-code
  5. 輸出:最終結果是一個 TypeScript 工廠函數,返回帶有運行時階層(樞紐、插座和碰撞體)的 THREE.Group,用於動畫。

適合誰

希望透過圖像生成 3D 資產而不依賴厚重的網格檔案或手動建模的開發者和技術藝術家,特別是那些使用 AI 代理來自動化 3D 創建工作流程的人。

特點

  • 純程式碼重建:生成 TypeScript 程式碼而非二進位網格檔案,使資產可進行差異比較且可版本控制。
  • 與代理無關:可與任何具備視覺和瀏覽器工具的代理一起使用(例如 Claude Code、Codec)。
  • token 高效:將機械任務(驗證、PBR 提取、比較打包)卸載到 Python 腳本,以節省模型 token。
  • 可動畫的:包含帶有樞紐和插座的運行時階層,而非生成靜態網格。
  • 嚴格的品質門檻:在規格足夠詳細以匹配物體複雜度之前,防止程式碼生成。

Sources