nv-tlabs/ardy

解决的问题

ARDY (Autoregressive Diffusion with Hybrid Representation) 解决了生成逼真、交互式人体运动的挑战，使其能够实时响应文本提示和特定的空间约束。它允许用户使用自然语言引导角色移动，同时强制执行精确的运动学要求，如脚部位置、根轨迹或特定的身体姿势。

工作原理

ARDY 使用一种自回归扩散模型，以连续的实时流处理运动。它结合了大型语言模型 (通过 LLM2Vec) 来解释文本提示，并配备了一个可以受外部输入约束的运动生成引擎。该系统支持“在线”生成，这意味着当用户提供新的航点、速度目标或关键帧约束时，它可以即时调整角色的移动。它包含一个基于浏览器的交互式演示和一个用于批处理的命令行界面。

适用人群

该项目适用于从事角色动画、机器人仿真或交互式虚拟环境研究的开发者和研究人员，他们需要一个高保真、可控的运动合成系统。

亮点

• 通过鼠标、键盘和流式文本提示进行实时交互控制。
• 灵活的约束支持，包括根路径、航点、全身关键帧和末端执行器位置。
• 支持多种骨架类型，包括人形角色和特定的机器人平台，如 Unitree G1。
• 包含一个用于实时运动可视化和控制的交互式网页 GUI。
• 提供 TensorRT 加速选项，以确保低延迟性能。