anteloc/ldraw-nova

解決する課題

ldraw-novaは、AIエージェントが組み立て可能な物理的なLEGOモデルを設計できるようにします。LLMが苦手とする複雑な3D幾何学計算を、エージェントがモデルを生成するコードを書くPythonベースのツールシステムを提供することで克服し、手動で座標を計算する必要をなくしました。

仕組み

このシステムは、AIがLDraw言語とLEGOの組み立てに関する指示やドキュメントを読み込むエージェントワークフローを使用します。エージェントはモデルを計画し、plan.jsonファイルを作成します。エージェントはLDrawソースコードを直接書くのではなく、最終的なLDrawソースファイルを生成するPythonジェネレータスクリプト（generate.py）を作成します。

モデルを洗練させるために、エージェントはモデルの画像を繰り返しレンダリングして検査し、モデルが完成するまで位置や見た目を調整します。このシステムには、適切なパーツの検索、衝突や隙間の検出、視覚的検査のためのヘッドレスレンダリングツールが含まれています。

対象ユーザー

AIを使用してLDraw形式の3D LEGOモデルを生成したいユーザー、および物理設計のためのエージェントワークフローに関心のある開発者。

ハイライト

• コードベースの生成: エージェントがPythonスクリプトを生成して3Dモデルを作成するため、直接的な幾何学計算を回避できます。
• 視覚的フィードバックループ: エージェントは自身の作成物をレンダリングして検査し、設計を反復的に改善できます。
• マルチフォーマット出力: LDrawソースコード、Blender用のglTFファイルを生成し、Meta Quest 3を介したVRインタラクティブビューをサポートします。
• セマンティック検索: jev-rerankと統合されており、セマンティック検索とリランキングによってエージェントが正しいLEGOパーツを見つけるのを支援します。