img2threejs: 分階段雕塑管線,從單張圖像重建物件為程序化 Three.js 程式碼
img2threejs: 分階段雕塑管線,從單張圖像重建物件為程序化 Three.js 程式碼
它解決了什麼問題
它解決了將單張參考圖像轉換為高品質、可直接動畫的 3D 模型的困難。與其使用沉重的網格檔案或 photogrammetry,它生成輕量級的程序化程式碼,可直接在網頁瀏覽器中渲染。
它是如何運作的
該專案使用分階段雕塑管線,其中 AI 代理(如 Claude Code)擔任雕塑者。該流程遵循嚴格的序列:blockout、結構通過、形式細化、材質通過、表面通過、光照通過、互動通過和優化通過。每個階段都由 Python 腳本把關,這些腳本會根據參考圖像驗證工作。代理必須在進入下一階段之前通過視覺審查(將並排渲染與原圖進行比較)。這確保最終輸出是一個 TypeScript 工廠,該工廠使用原始體、程序化著色器和生成的幾何體來構建物件。
它適合誰
- 遊戲開發者 尋找輕量級、以程式碼為基礎的 3D 資產。
- 網頁開發者 需要可直接動畫的 Three.js 模型,且不需要大型檔案下載。
- AI 工程師 構建用於 3D 資產生成的代理工作流程。
特點
- Token-efficient 設計:使用確定性的 Python 腳本進行驗證和記帳,僅將昂貴的 LLM token 保留用於視覺判斷。
- 可直接動畫:生成包含樞紐、接點和碰撞器的運行時階層。
- 程序化重建:從程式碼(原始體和著色器)重建物件,而不是提取網格。
- 與代理無關:透過基於技能的架構,設計為可與各種 AI 編碼工具和視覺模型協同工作。