localai-org/motion-bricks.cpp
NVIDIA MotionBricks ported to GGML/C++; dynamically generates animations from keyframes using a neural network. Can be used in games or with robots
解决的问题
该项目提供了 NVIDIA MotionBricks 的高性能、可移植 C++ 实现,MotionBricks 是一个用于生成骨骼动画和运动控制的系统。它允许开发者在标准 CPU 和兼容 Vulkan 的硬件上运行这些运动模型,而不是完全依赖重量级的基于 GPU 的训练框架。
工作原理
它使用 GGML 库来加载和执行 GGUF 格式的模型权重。系统处理整个推理流程:从加载模型和样式包,到规划运动、预测姿态令牌,并将其解码为骨骼动画。它提供了一个稳定的 C ABI,使其可以集成到其他语言(如 Go)中,而无需复杂的 Cgo 绑定。它还包括对 MuJoCo 物理模拟的可选支持,以驱动逼真的动画播放。
适用人群
该项目面向从事机器人、角色动画或具身 AI 工作的开发者和研究人员,他们需要将高质量的运动生成集成到运行在边缘设备或标准服务器硬件上的应用程序中。
亮点
- 实现了完整的 G1 推理路径,包括根规划、姿态预测和 VQ 解码。
- 提供稳定的 C ABI,便于与 Go 等其他编程语言集成。
- 支持 CPU 和 Vulkan 后端,实现灵活的硬件部署。
- 包含与上游 NVIDIA 参考实现进行一致性验证的工具,以确保运动准确性。
- 提供带有 Three.js 前端的交互式演示,以可视化骨骼运动和控制器。
相关
- 项目
- 项目
- 项目
- 项目