AvaLovelace1/BrickGPT
[ICCV 2025 Best Paper] Official repository for BrickGPT, the first approach for generating physically stable toy brick models from text prompts.
What it solves
BrickGPTは、テキストプロンプトから、視覚的にプロンプトを表現しているだけでなく、物理的に安定し、人間が実際に組み立て可能な玩具用ブロックモデルを生成するという課題を解決します。
How it works
本システムは、StableText2Brickというカスタムデータセットで学習させた、微調整済みのLlama-3.2-1B-Instructモデルに基づいています。テキストによる記述を、ブロック単位のテキスト形式（高さ、幅、座標を指定）に変換します。生成された構造が実現可能であることを確実にするため、物理ベースの安定性解析（Gurobi経由）または、より単純な接続性ベースの手法を用いて、不安定なブロックや衝突するブロックを排除し、再生成します。
Who it’s for
このツールは、AI駆動の3D生成研究者、物理的な玩具モデルのデザイナー、および自動化されたブロック構築に興味があるホビーユーザー向けに設計されています。
Who it’s for
このツールは、AI駆動の3D生成研究者、物理的な玩具モデルのデザイナー、および自動化されたブロック構築に興味があるホビーユーザー向けに設計されています。
Highlights
- Physically Stable: 現実世界で組み立て可能な構造を作成するために特別に設計されています。
- Text-to-Brick Generation: 自然言語プロンプトから詳細なブロックレイアウト（LDraw形式）を直接生成します。
- Stability Analysis: Gurobiと連携し、高精度な物理ベースの安定性検証を行います。
- Comprehensive Pipeline: テクスチャリング、カラーリング、および3Dメッシュをブロック構造に変換する機能を含んでいます。