localai-org/motion-bricks.cpp

해결하는 문제

이 프로젝트는 스켈레탈 애니메이션 및 모션 제어를 생성하는 시스템인 NVIDIA MotionBricks의 고성능, 휴대용 C++ 구현을 제공합니다. 이를 통해 개발자는 무거운 GPU 기반 훈련 프레임워크에만 의존하지 않고 표준 CPU 및 Vulkan 호환 하드웨어에서 이러한 모션 모델을 실행할 수 있습니다.

작동 방식

GGML 라이브러리를 사용하여 GGUF 형식의 모델 가중치를 로드하고 실행합니다. 시스템은 모델 및 스타일 번들 로드부터 모션 계획, 포즈 토큰 예측, 스켈레탈 애니메이션으로의 디코딩까지 전체 추론 파이프라인을 처리합니다. 안정적인 C ABI를 제공하여 복잡한 Cgo 바인딩 없이 Go와 같은 다른 언어에 통합할 수 있습니다. 또한 사실적인 애니메이션 재생을 구동하기 위한 MuJoCo 물리 시뮬레이션에 대한 선택적 지원도 포함합니다.

대상 사용자

이 프로젝트는 로봇 공학, 캐릭터 애니메이션 또는 구현 AI를 연구하는 개발자와 연구자를 대상으로 하며, 엣지 디바이스나 표준 서버 하드웨어에서 실행되는 애플리케이션에 고품질 모션 생성을 통합해야 합니다.

주요 기능

• 루트 계획, 포즈 예측 및 VQ 디코딩을 포함한 전체 G1 추론 경로를 구현합니다.
• Go와 같은 다른 프로그래밍 언어와의 쉬운 통합을 위한 안정적인 C ABI를 제공합니다.
• 유연한 하드웨어 배포를 위해 CPU 및 Vulkan 백엔드를 모두 지원합니다.
• 모션 정확성을 보장하기 위해 업스트림 NVIDIA 참조 구현과의 패리티 검증 도구를 포함합니다.
• Three.js 프론트엔드를 사용한 대화형 데모를 제공하여 스켈레탈 움직임과 제어를 시각화합니다.