nv-tlabs/kimodo

解决的问题

Kimodo 解决了生成高质量、可控的 3D 人类和机器人动作的挑战。它允许用户通过结合自然语言文本提示和精确的运动学约束（如关节位置、末端执行器目标（手/脚）和地面路径）来创建特定的动画。

工作原理

Kimodo 是一个在大型运动捕捉数据集（700 小时的 Rigplay 数据）上训练的运动学运动扩散模型。它的工作方式是接收文本描述和可选的空间约束作为输入，然后通过扩散过程迭代细化运动序列。它支持多种骨架类型，包括 SOMA (humanoid)、Unitree G1 和 SMPL-X，并提供了一个基于 Web 的交互式时间轴编辑器，供用户创作和预览这些动作。

适用人群

该项目专为从事机器人技术、角色动画和物理 AI 的研究人员和开发人员设计，他们需要为仿真或下游任务（如训练人形机器人控制策略）生成逼真的运动数据。

主要亮点

• 多模态控制：将文本生成动作与关键帧和 2D 航点等细粒度运动学约束相结合。
• 交互式创作：包含一个基于本地 Web 的 GUI，用于基于时间轴的动作编辑和实时 3D 可视化。
• 机器人兼容性：支持直接导出为与 MuJoCo 及其他机器人框架（如 ProtoMotions）兼容的格式。
• 标准化基准测试：提供了一套全面的评估套件和测试用例，用于衡量动作质量和约束遵循的准确性。
• 灵活的推理：提供用于批量生成的高级 CLI 和用于自定义集成的低级 Python API。