ldraw-nova v0.6.0:開源 AI 驅動的 LEGO 模型生成器

TL;DR – ldraw‑nova v0.6.0 的成就

  • 可以為 LLM 代理提供設計簡報,規劃 LEGO 組裝,並輸出完整規格的 LDraw 原始檔 (.ldr/.mpd)。
  • 生成的模型可立即在網頁版 3D 檢視器中查看、匯出至 Blender (.glb),甚至串流至 Meta Quest 3 VR。
  • 所有產出物(原始碼、渲染影像、對話紀錄以及代理的推理軌跡)都會保存以供檢查。

為何這很重要

從 AI 生成的程式碼創建實體、可組裝的物件一直是一個難題,因為大多數 LLM 很難處理 CAD 語言所需的底層幾何數學。透過鎖定 LDraw(一種簡單的 LEGO 組裝語言),該專案避開了幾何瓶頸:代理擅長編寫輸出 LDraw 的 Python 程式碼,而不是自己執行原始向量數學。這展示了一條用於實體物件代理設計的可行「最小阻力路徑」。


此版本提供的核心功能

功能 您將獲得什麼 產出方式
LDraw 原始檔 符合官方 LDraw 語言的完整 .ldr/.mpd 檔案 代理生成一個編寫 LDraw 檔案的 Python 生成器腳本。
多視角輸出 互動式 3D 檢視器、影像渲染、VR 串流 (Meta Quest 3)、可由 Blender 編輯的 .glb 內建於網頁應用程式中的無頭渲染管線。
可追溯性 完整對話紀錄、逐步代理推理、規劃 JSON (plan.json) 網頁 UI 會記錄每次 LLM 請求/回應以及生成的規劃檔案。
零件探索 用於尋找合適積木的語意搜尋 (JeV‑rerank) 或備用的全文搜尋 與 TypeSafe 的 JeV System One 模型整合;可選的 API 金鑰可提升排名。
碰撞與間隙檢測 在最終匯出前自動驗證零件放置位置 在迭代渲染迴圈期間執行的內建幾何檢查。

安裝簡介

  1. 複製兩個儲存庫(核心與 Docker 包裝器)的對應標籤。以 v0.6.0 為例:
    git clone --branch v0.6.0 https://github.com/anteloc/ldraw-nova.git
    git clone --branch v0.6.0 https://github.com/anteloc/ldraw-nova-docker.git
    
  2. 建置 Docker 映像檔 (需要 ≈5 GB):
    cd ldraw-nova-docker
    docker compose build
    
  3. 執行服務:
    docker compose up -d
    
  4. 存取 UI – 使用 https://localhost:8443 進行 VR(接受自簽憑證)或使用 http://localhost:8765 進行一般 HTTP 存取。
  5. 停止服務,使用 docker compose down。

注意: 若沒有 TypeSafe API 金鑰,系統將退回使用一般的全文搜尋,這可能會降低模型品質。


代理如何建構 LEGO 模型

  1. 提示輸入 – 使用者提供設計簡報。
  2. 指令讀取 – 代理讀取 instructions.md 和 LDraw 文件。
  3. 規劃 – 它建立一個 plan.json,描述所需的零件、子模型和美學目標。
  4. 迭代渲染迴圈:
    • 將當前模型狀態渲染為影像。
    • 檢查渲染結果、調整幾何形狀、重新渲染。
    • 重複上述步驟,直到代理將模型標記為完成。
  5. 生成器建立 – 規劃被轉換為 Python 腳本 (generate.py),該腳本會輸出最終的 LDraw 原始碼。
  6. 匯出 – LDraw 檔案被送入 LDView/LeoCAD/Blender 管線以進行視覺化和 VR 串流。

此工作流程實際上是一個 編譯器:LLM → 規劃 → Python 生成器 → LDraw 組裝語言 → 3D 模型。


代理知識庫 – 模型被教授的內容

儲存庫附帶了一套精選的 Markdown 指南供代理閱讀,涵蓋:

  • 視覺設計原則、車輛與太空船工作流程、Technic 機構、模組化結構、幾何驗證以及零件查詢參考。
  • 車輛、太空船、Technic 機器和模組化街道的範例圖集。
  • 參考探索文件,協助代理定位可重複使用的子模型。

這些文件列在 README 的 代理資訊來源 表格中,旨在供 LLM 在規劃階段自動取用。


社群回饋重點 (Hacker News 評論)

"我一直在嘗試 FreeCAD + Claude,並製作了三個在第一次硬體修訂版中就能運作的功能性零件。最大的困難在於 AI 對組裝限制的理解。" – ash_091

"最近的一篇 arXiv 論文 (https://arxiv.org/pdf/2512.15743) 探討了使用 Opus 4.5 的相同想法;隨著像 Opus 5.5 這樣的新模型出現,我們可以期待更好的結果。" – vunderba

"下一步:AI 驅動的真實房屋建造。" – thomasfl

"機器人應用程式將需要將物理模擬整合到管線中。" – josh-wrale

"將傾倒的 LEGO 桶分類為數位庫存的工具將是一個自然的延伸。" – ttul

"它能創造功能性的 Technic 機構嗎?" – 1e1a

"對於 Astra、Opus 和 JeV 有任何代幣成本估算嗎?" – CptBroccoli

這些評論強調了三個反覆出現的主題:組裝可行性、建模物理學以及大規模生成的成本考量。


已知限制與路線圖項目

  • Meta Quest 3 上的 VR 效能仍不穩定;模型處理需要優化。
  • 低階 LLM 支援 – 目前的管線假設使用高容量模型 (GPT-6 Astra, Claude Opus 5.5)。計畫針對較小的模型(例如 Luna, Haiku)進行調整。
  • 生成速度 – 迭代渲染-規劃迴圈的計算成本很高;未來的工作將平行化渲染並快取中間幾何形狀。
  • 模型多樣性 – 目前的範例專注於車輛、太空船和基礎 Technic;計畫增加更豐富的類別(人類、動物、複雜機構)。
  • 手動驅動的組裝 – 目前對將印刷版 LEGO 說明書轉換為數位模型有部分支援;穩健性將隨著更好的影像轉文字管線而提高。

如何貢獻

儲存庫目前將 貢獻 (Contributing) 章節標記為 即將推出 (COMING SOON)。有興趣的開發者可以從以下開始:

  • Fork 儲存庫並嘗試替代的零件搜尋後端。
  • 提交記錄幾何驗證或 VR 渲染失敗的問題。
  • 為額外的 LEGO 子領域(例如機器人、建築模型)提出新的代理指令集。

總結

ldraw‑nova v0.6.0 證明了 LLM 代理可以透過將底層幾何委託給基於 Python 的程式碼生成器,可靠地生成完整、可組裝的 LEGO 模型,為 AI 驅動的實體設計開闢了一條實用的途徑。

Sources

相關

  • Dispatch
  • 專案
  • Dispatch
  • 專案
  • 專案