hoainho/img2threejs

Rebuild the object in a reference image as a code-only, procedural, quality-gated, animation-ready Three.js model. Token-efficient image-to-3D.

解決的問題

它解決了將單張參考圖像轉換為高品質、可進行動畫處理的 3D 模型的困難。它不使用沉重的網格檔案或攝影測量法，而是生成可以直接在 Web 瀏覽器中渲染的輕量級程序化程式碼。

工作原理

該專案使用分階段雕刻流水線，其中 AI 代理（如 Claude Code）充當雕刻師。過程遵循嚴格的順序：blockout、structural pass、form refinement、material pass、surface pass、lighting pass、interaction pass 和 optimization pass。每個階段都由 Python 腳本把關，以根據參考圖像驗證工作成果。代理在進入下一階段之前必須通過視覺審查（將並排渲染圖與原圖進行比較）。這確保了最終輸出是一個使用原語、程序化著色器和生成的幾何體來構建物件的 TypeScript 工廠。

適用對象

  • 遊戲開發人員：正在尋找輕量級、基於程式碼的 3D 資產的人員。
  • Web 開發人員：需要無需大型檔案下載即可進行動畫處理的 Three.js 模型的人員。
  • AI 工程師：正在構建用於 3D 資產生成的代理工作流的人員。

亮點

  • Token 效率高的設計：使用確定性的 Python 腳本進行驗證和記帳，僅將昂貴的 LLM Token 保留用於視覺判斷。
  • 動畫就緒：生成包括軸心 (pivots)、插槽 (sockets) 和碰撞體 (colliders) 在內的執行階段層級結構。
  • 程序化重建：從程式碼（原語和著色器）重建物件，而不是提取網格。
  • 代理無關性：透過基於技能的架構設計，旨在與各種 AI 程式碼工具和視覺模型協同工作。