AvaLovelace1/BrickGPT

[ICCV 2025 Best Paper] Official repository for BrickGPT, the first approach for generating physically stable toy brick models from text prompts.

What it solves

BrickGPT 解决了从文本提示生成积木模型的挑战，这些模型不仅要视觉上符合提示，而且还要物理上稳定且人类可以实际搭建。

How it works

该系统基于微调后的 Llama-3.2-1B-Instruct 模型，并在名为 StableText2Brick 的自定义数据集上进行了训练。它将文本描述转换为逐块积木的文本格式（指定高度、宽度和坐标）。为了确保生成的结构是可行的，它可以使用基于物理的稳定性分析（通过 Gurobi）来拒绝并重新生成不稳定或碰撞的积木，或者使用一种更简单的基于连接性的方法。

Who it’s for

该工具是为 AI 驱动的 3D 生成研究人员、实体积木模型设计师、以及对自动化积木搭建感兴趣的爱好者设计的。

Highlights

  • Physically Stable: 专门设计用于创建可以在现实世界中构建的结构。
  • Text-to-Brick Generation: 直接从自然语言提示生成详细的积木布局（LDraw 格式）。
  • Stability Analysis: 稳定性分析集成于 Gurobi，用于实现高精度的基于物理的稳定性验证。
  • Comprehensive Pipeline: 包含纹理化、着色和将 3D 网格转换为积木结构的各种能力。