zju3dv/MotionStreamer
[ICCV 2025] MotionStreamer: Streaming Motion Generation via Diffusion-based Autoregressive Model in Causal Latent Space
解决的问题
MotionStreamer 解决了从文本描述中以流式方式生成人类动作序列的挑战。它支持连续生成动作，使不同动作之间的过渡更加流畅和无缝。
工作原理
该系统使用在因果潜在空间中运行的基于扩散的自回归模型。其流程包含以下几个阶段：
- 因果 TAE：使用因果时序自编码器（TAE）将动作编码到因果潜在空间中，确保潜在表示仅基于过去和当前帧。
- 动作生成：模型利用 Llama 块、"Two-Forward" 策略和 QK-Norm，从文本嵌入（由 sentence-T5-XXL 提供）生成动作潜在变量。
- 流式支持：通过在处理过的流式数据集（如 BABEL-stream）上进行训练，模型学会生成在子序列之间保持连续性和一致性的动作序列。
适用人群
从事计算机视觉、3D 人类动作合成以及游戏或虚拟现实角色动画的研究人员和开发者。
主要亮点
- 流式生成：能够基于文本输入生成连续的动作序列。
- 因果潜在空间：使用因果 TAE 确保时间一致性，并防止生成过程中未来信息泄露。
- 无需 IK：所用的 272 维动作表示消除了恢复过程中对逆运动学（IK）的需求。
- 集成评估：包含基于 TMR 的动作评估器，通过 FID 和多样性等指标衡量生成质量。
相关
- 项目
- 项目
- 项目
- 项目