AvaLovelace1/BrickGPT

[ICCV 2025 Best Paper] Official repository for BrickGPT, the first approach for generating physically stable toy brick models from text prompts.

What it solves

BrickGPT 解決了從文字提示生成積木模型的挑戰，這些模型不僅要視覺上符合提示，還要物理上穩定且人類可以實際搭建。

How it works

該系統基於微調後的 Llama-3.2-1B-Instruct 模型，並在名為 StableText2Brick 的自定義數據集上進行了訓練。它將文字描述轉換為逐塊積木的文字格式（指定高度、寬度與座標）。為了確保生成的結構是可行的，它可以利用基於物理的穩定性分析（透過 Gurobi）或更簡單的基於連接性的方法來拒絕並重新生成不穩定或碰撞的積木。

Who it’s for

此工具是為 AI 驅動的 3D 生成研究人員、實體積木模型設計師以及對自動化積木搭建感興趣的愛好者而設計的。

Highlights

  • Physically Stable: 特別設計用於創建可以在現實世界中組裝的結構。
  • Text-to-Brick Generation: 直接從自然語言提示生成詳細的積木佈局（LDraw 格式）。
  • Stability Analysis: 與 Gurobi 集成，進行高精度的基於物理的穩定性驗證。
  • Comprehensive Pipeline: 包含紋理化、著色與將 3D 網格轉換為積木結構的能力。