AvaLovelace1/BrickGPT

[ICCV 2025 Best Paper] Official repository for BrickGPT, the first approach for generating physically stable toy brick models from text prompts.

What it solves

BrickGPT는 텍스트 프롬프트로부터 시각적으로 프롬프트를 잘 나타낼 뿐만 아니라, 물리적으로 안정적이고 실제로 사람이 조립할 수 있는 장난감 블록 모델을 생성해야 하는 과제를 해결합니다.

How it works

이 시스템은 StableText2Brick이라는 커스텀 데이터셋으로 학습된 미세 조정된 Llama-3.2-1B-Instruct 모델을 기반으로 합니다. 텍스트 설명을 블록 단위의 텍스트 형식(높이, 너비, 좌표 지정)으로 변환합니다. 결과물이 실현 가능한 구조인지 확인하기 위해, 물리 기반 안정성 분석(Gurobi를 통해) 또는 더 간단한 연결성 기반 방식을 사용하여 불안정하거나 충돌하는 블록을 거부하고 재생성합니다.

Who it’s for

이 도구는 AI 기반 3D 생성 연구자, 물리적 장난감 모델 디자이너, 그리고 자동화된 블록 기반 구축에 관심이 있는 취미가들을 위해 설계되었습니다.

Who it’s for

이 도구는 AI 기반 3D 생성 연구자, 그리고 자동화된 블록 기반 구축에 관심이 있는 취미가들을 위해 설계되었습니다.

Highlights

  • Physically Stable: 실제 세계에서 조립할 수 있는 구조를 생성하도록 특별히 설계되었습니다.
  • Text-to-Brick Generation: 텍록 프롬프트로부터 상세한 블록 레이아웃(LDraw 형식)을 직접 생성합니다.
  • Stability Analysis: 고정밀 물리 기반 안정성 검증을 위해 Gurobi와 통합되었습니다.
  • Comprehensive Pipeline: 텍스처링, 컬러링 및 3D 메쉬를 블록 구조로 변환하는 기능을 포함합니다.