ldraw-nova v0.6.0:開源 AI 驅動的 LEGO 模型生成器
TL;DR – ldraw‑nova v0.6.0 的成就
- 可以為 LLM 代理提供設計簡報,規劃 LEGO 組裝,並輸出完整規格的 LDraw 原始檔 (
.ldr/.mpd)。 - 生成的模型可立即在網頁版 3D 檢視器中查看、匯出至 Blender (
.glb),甚至串流至 Meta Quest 3 VR。 - 所有產出物(原始碼、渲染影像、對話紀錄以及代理的推理軌跡)都會保存以供檢查。
為何這很重要
從 AI 生成的程式碼創建實體、可組裝的物件一直是一個難題,因為大多數 LLM 很難處理 CAD 語言所需的底層幾何數學。透過鎖定 LDraw(一種簡單的 LEGO 組裝語言),該專案避開了幾何瓶頸:代理擅長編寫輸出 LDraw 的 Python 程式碼,而不是自己執行原始向量數學。這展示了一條用於實體物件代理設計的可行「最小阻力路徑」。
此版本提供的核心功能
| 功能 | 您將獲得什麼 | 產出方式 |
|---|---|---|
| LDraw 原始檔 | 符合官方 LDraw 語言的完整 .ldr/.mpd 檔案 |
代理生成一個編寫 LDraw 檔案的 Python 生成器腳本。 |
| 多視角輸出 | 互動式 3D 檢視器、影像渲染、VR 串流 (Meta Quest 3)、可由 Blender 編輯的 .glb |
內建於網頁應用程式中的無頭渲染管線。 |
| 可追溯性 | 完整對話紀錄、逐步代理推理、規劃 JSON (plan.json) |
網頁 UI 會記錄每次 LLM 請求/回應以及生成的規劃檔案。 |
| 零件探索 | 用於尋找合適積木的語意搜尋 (JeV‑rerank) 或備用的全文搜尋 | 與 TypeSafe 的 JeV System One 模型整合;可選的 API 金鑰可提升排名。 |
| 碰撞與間隙檢測 | 在最終匯出前自動驗證零件放置位置 | 在迭代渲染迴圈期間執行的內建幾何檢查。 |
安裝簡介
- 複製兩個儲存庫(核心與 Docker 包裝器)的對應標籤。以 v0.6.0 為例:
git clone --branch v0.6.0 https://github.com/anteloc/ldraw-nova.git git clone --branch v0.6.0 https://github.com/anteloc/ldraw-nova-docker.git - 建置 Docker 映像檔 (需要 ≈5 GB):
cd ldraw-nova-docker docker compose build - 執行服務:
docker compose up -d - 存取 UI – 使用
https://localhost:8443進行 VR(接受自簽憑證)或使用http://localhost:8765進行一般 HTTP 存取。 - 停止服務,使用
docker compose down。
注意: 若沒有 TypeSafe API 金鑰,系統將退回使用一般的全文搜尋,這可能會降低模型品質。
代理如何建構 LEGO 模型
- 提示輸入 – 使用者提供設計簡報。
- 指令讀取 – 代理讀取
instructions.md和 LDraw 文件。 - 規劃 – 它建立一個
plan.json,描述所需的零件、子模型和美學目標。 - 迭代渲染迴圈:
- 將當前模型狀態渲染為影像。
- 檢查渲染結果、調整幾何形狀、重新渲染。
- 重複上述步驟,直到代理將模型標記為完成。
- 生成器建立 – 規劃被轉換為 Python 腳本 (
generate.py),該腳本會輸出最終的 LDraw 原始碼。 - 匯出 – LDraw 檔案被送入 LDView/LeoCAD/Blender 管線以進行視覺化和 VR 串流。
此工作流程實際上是一個 編譯器:LLM → 規劃 → Python 生成器 → LDraw 組裝語言 → 3D 模型。
代理知識庫 – 模型被教授的內容
儲存庫附帶了一套精選的 Markdown 指南供代理閱讀,涵蓋:
- 視覺設計原則、車輛與太空船工作流程、Technic 機構、模組化結構、幾何驗證以及零件查詢參考。
- 車輛、太空船、Technic 機器和模組化街道的範例圖集。
- 參考探索文件,協助代理定位可重複使用的子模型。
這些文件列在 README 的 代理資訊來源 表格中,旨在供 LLM 在規劃階段自動取用。
社群回饋重點 (Hacker News 評論)
"我一直在嘗試 FreeCAD + Claude,並製作了三個在第一次硬體修訂版中就能運作的功能性零件。最大的困難在於 AI 對組裝限制的理解。" – ash_091
"最近的一篇 arXiv 論文 (https://arxiv.org/pdf/2512.15743) 探討了使用 Opus 4.5 的相同想法;隨著像 Opus 5.5 這樣的新模型出現,我們可以期待更好的結果。" – vunderba
"下一步:AI 驅動的真實房屋建造。" – thomasfl
"機器人應用程式將需要將物理模擬整合到管線中。" – josh-wrale
"將傾倒的 LEGO 桶分類為數位庫存的工具將是一個自然的延伸。" – ttul
"它能創造功能性的 Technic 機構嗎?" – 1e1a
"對於 Astra、Opus 和 JeV 有任何代幣成本估算嗎?" – CptBroccoli
這些評論強調了三個反覆出現的主題:組裝可行性、建模物理學以及大規模生成的成本考量。
已知限制與路線圖項目
- Meta Quest 3 上的 VR 效能仍不穩定;模型處理需要優化。
- 低階 LLM 支援 – 目前的管線假設使用高容量模型 (GPT-6 Astra, Claude Opus 5.5)。計畫針對較小的模型(例如 Luna, Haiku)進行調整。
- 生成速度 – 迭代渲染-規劃迴圈的計算成本很高;未來的工作將平行化渲染並快取中間幾何形狀。
- 模型多樣性 – 目前的範例專注於車輛、太空船和基礎 Technic;計畫增加更豐富的類別(人類、動物、複雜機構)。
- 手動驅動的組裝 – 目前對將印刷版 LEGO 說明書轉換為數位模型有部分支援;穩健性將隨著更好的影像轉文字管線而提高。
如何貢獻
儲存庫目前將 貢獻 (Contributing) 章節標記為 即將推出 (COMING SOON)。有興趣的開發者可以從以下開始:
- Fork 儲存庫並嘗試替代的零件搜尋後端。
- 提交記錄幾何驗證或 VR 渲染失敗的問題。
- 為額外的 LEGO 子領域(例如機器人、建築模型)提出新的代理指令集。
總結
ldraw‑nova v0.6.0 證明了 LLM 代理可以透過將底層幾何委託給基於 Python 的程式碼生成器,可靠地生成完整、可組裝的 LEGO 模型,為 AI 驅動的實體設計開闢了一條實用的途徑。
Sources
相關
- Dispatch
- 專案
- Dispatch
- 專案
- 專案