Tencent-Hunyuan/HY-Motion-1.0

What it solves

HY-Motion 1.0 解决了从文本描述中生成高质量、自然 3D 人体动作动画的挑战。相比之前的开源模型，它通过增强文本提示词与生成动作之间的语义对齐，以及提升角色动作的整体平滑度和真实感，实现了进一步的改进。

How it works

该项目利用 Diffusion Transformer (DiT) 架构并结合了 Flow Matching。它将这些模型扩展到十亿参数级，以提升指令遵循能力。训练过程包含三个阶段：

1. Large-Scale Pre-training: 从超过 3,000 小时的动作数据中学习广泛的动作先验知识。
2. High-Quality Fine-tuning: 使用 400 小时的精选数据来精炼动作细节和平滑度。
3. Reinforcement Learning: 使用人类反馈和奖励模型来进一步提升动作的自然度和指令遵循能力。

Who it’s for

该工具是为开发者和 3D 动画师设计的，旨在生成可以集成到现有 3D 动画管线中的基于骨架的 3D 角色动画。

Highlights

• Billion-Scale Parameters: 首个达到十亿参数规模的 DiT-based text-to-motion 模型，以实现更好的指令理解能力。
• Three-Stage Training: 包含预训练、精细调优、高质量精细调优和 RLHF 的全面流程。
• Hunyuan-1.0 and Lite versions: 提供标准 1.0B 参数模型和轻量级 0.46B 版本。
• VLM-based Evaluation: 包含 SSAE (Structured Semantic Alignment Evaluation) 用于评估生成动作与文本提示词的对齐程度。