ldraw-nova: 생성형 레고 모델 빌딩을 위한 에이전트 AI

ldraw-nova는 AI 에이전트가 조립 가능한 물리적 레고 모델을 설계할 수 있도록 지원하는 오픈 소스 프레임워크입니다. LLM에게 직접 3D 좌표를 계산하도록 요청하는 대신(이는 모델들이 일반적으로 어려워하는 작업입니다), ldraw-nova는 에이전트가 Python 생성기 스크립트를 작성하고, 이를 통해 LDraw 어셈블리 언어로 소스 코드를 생성할 수 있는 도구 세트를 제공합니다.

"생성기(Generator)" 아키텍처

ldraw-nova는 LLM이 원시 수학적 좌표를 생성하는 것보다 수학적 결과를 생성하는 코드를 작성하는 데 훨씬 더 능숙하다는 원칙에 따라 작동합니다. 이 시스템은 프롬프트에서 물리적 모델로 이동하기 위한 다단계 파이프라인을 구현합니다:

계획(Planning): 에이전트가 프롬프트를 분석하고 필요한 부품, 하위 모델 및 전체적인 미학을 상세히 기술하는 plan.json 파일을 생성합니다.
생성(Generation): 에이전트가 계획을 바탕으로 generator.py 스크립트를 작성합니다. 이 스크립트는 상위 수준의 계획을 하위 수준의 LDraw 언어로 번역하는 컴파일러 역할을 합니다.
실행(Execution): Python 스크립트가 실행되어 .mpd 또는 .ldr 파일(LDraw 소스 코드)을 생성하며, 이는 이후 3D CAD 모델로 렌더링됩니다.
반복적 개선(Iterative Refinement): 에이전트가 현재 모델의 이미지를 렌더링하고, 간격이나 충돌을 검사하며, 모델이 완성될 때까지 생성기 스크립트를 조정합니다.

핵심 도구 및 기능

정밀한 빌딩을 가능하게 하기 위해 ldraw-nova는 에이전트에게 포괄적인 정보 소스와 기술적 도구를 제공합니다:

에이전트 가이드

에이전트에게는 다양한 빌딩 스타일을 처리하기 위한 전문 문서가 제공됩니다:

차량 및 우주선 워크플로우: 공기역학 및 구조적 무결성을 위한 특정 가이드.
테크닉 및 메커니즘: 기능적 기계 구조를 구축하기 위한 지침.
모듈식 구성: 하위 모델을 통해 크고 복잡한 모델을 관리하기 위한 워크플로우.
시각적 디자인: 형태, 색상 및 디테일을 개선하기 위한 가이드.

기술 도구

시맨틱 검색: 이 시스템은 jev-rerank(TypeSafe의 Jev System One 기반)를 사용하여 에이전트가 적합한 레고 부품과 예제 모델을 찾도록 돕습니다. TypeSafe API 키를 사용할 수 없는 경우, 시스템은 전체 텍스트 검색(FTS)으로 대체됩니다.
검증: 충돌 및 간격 감지 도구는 부품이 올바르게 배치되었으며 물리적으로 조립 가능한지 확인합니다.
렌더링: 헤드리스 렌더링을 통해 에이전트가 진행 상황을 "확인"하고 시각적 검사를 수행할 수 있습니다.

배포 및 기술 요구 사항

이 시스템은 도커화된 웹 애플리케이션으로 배포됩니다. 설치하려면 동일한 버전 태그(예: v0.6.0)의 두 형제 저장소인 ldraw-nova와 ldraw-nova-docker를 복제해야 합니다.

인프라: Git과 Docker가 필요합니다.
액세스: 이 앱은 Meta Quest 3 VR 상호작용을 위한 HTTPS 포트(8443)와 표준 브라우저 액세스를 위한 일반 HTTP 포트(8765)를 제공합니다.
출력 형식: 최종 출력물에는 LDraw 소스 코드, Blender에서 편집 가능한 glTF 파일(.glb), 그리고 전체 에이전트 사고 과정/채팅 기록이 포함됩니다.

현재 제한 사항 및 향후 과제

첫 번째 릴리스로서, 작성자는 개선이 필요한 몇 가지 영역을 식별했습니다:

모델 효율성: 생성 속도가 현재 느리고 비용이 많이 들며, 복잡한 결과를 얻으려면 GPT-6 Astra 또는 Claude Opus 5.5와 같은 고성능 모델이 필요합니다.
도메인 격차: 미니피겨(인간/동물) 및 복잡한 우주선 생성은 여전히 최적화되지 않았습니다.
VR 성능: Meta Quest 3 통합은 현재 성능 및 모델 처리 문제로 어려움을 겪고 있습니다.
저사양 모델 지원: 더 작은 모델(예: Claude Haiku)이 실행 가능한 모델을 생성할 수 있도록 도구와 문서를 조정해야 합니다.

커뮤니티 관점

이 프로젝트에 대한 논의는 에이전트 기반 CAD 설계의 더 넓은 잠재력을 강조합니다. 한 사용자는 FreeCAD와 Claude를 사용하여 유사한 워크플로우로 3D 프린팅 케이스와 밀링된 알루미늄 어댑터를 제작하는 데 성공했다고 언급하며, AI의 주요 과제는 여전히 부품의 물리적 조립 순서를 이해하는 것이라고 지적했습니다.

다른 기여자들은 로봇 공학을 위한 물리 모델링을 포함하도록 프로젝트를 확장하거나, AI의 부품 선택을 제한하기 위해 사진에서 기존 물리적 레고 컬렉션을 카탈로그화할 수 있는 도구를 만드는 것을 제안했습니다.