anteloc/ldraw-nova

해결하는 문제

ldraw-nova는 AI 에이전트가 조립 가능한 물리적 LEGO 모델을 설계할 수 있게 해줍니다. LLM이 복잡한 3D 기하학 수학을 처리할 때 겪는 어려움을, 에이전트가 좌표를 수동으로 계산하는 대신 모델을 생성하는 코드를 작성할 수 있는 Python 기반 도구 시스템을 제공함으로써 극복합니다.

작동 방식

이 시스템은 AI가 LDraw 언어 및 LEGO 조립에 관한 지침과 문서를 읽는 에이전트 워크플로우를 사용합니다. 에이전트는 모델을 계획하고 plan.json 파일을 생성합니다. 에이전트는 LDraw 소스 코드를 직접 작성하는 대신, 최종 LDraw 소스 파일을 생성하는 Python 생성기 스크립트(generate.py)를 만듭니다.

모델을 개선하기 위해 에이전트는 모델의 이미지를 반복적으로 렌더링하고 검사하며, 모델이 완성될 때까지 위치와 미학적 요소를 조정합니다. 이 시스템에는 적합한 부품 찾기, 충돌 및 간격 감지, 시각적 검사를 위한 헤드리스 렌더링 도구가 포함되어 있습니다.

대상 사용자

AI를 사용하여 LDraw 형식의 3D LEGO 모델을 생성하려는 사용자 및 물리적 설계를 위한 에이전트 워크플로우에 관심이 있는 개발자.

주요 특징

• 코드 기반 생성: 에이전트가 Python 스크립트를 생성하여 3D 모델을 제작하므로 직접적인 기하학 수학 계산을 피할 수 있습니다.
• 시각적 피드백 루프: 에이전트는 자신이 만든 결과물의 이미지를 렌더링하고 검사하여 설계를 반복적으로 개선할 수 있습니다.
• 다중 형식 출력: LDraw 소스 코드, Blender용 glTF 파일을 생성하며 Meta Quest 3를 통한 VR 대화형 뷰를 지원합니다.
• 시맨틱 검색: jev-rerank와 통합되어 시맨틱 검색 및 재순위 지정을 통해 에이전트가 올바른 LEGO 부품을 찾도록 돕습니다.