Tencent-Hunyuan/HY-Motion-1.0

What it solves

HY-Motion 1.0 は、テキスト記述から高品質で自然な 3D 人体アニメーションを生成する課題を解決します。従来のオープンソースモデルと比較して、テキストプロンプトと生成される動作のセマンティック・アライメント（意味的整合性）を強化し、text-to-motion の 定義を向上させ、キャラクターの動きの全体的な滑らかさとリアリズムを向上させます。

How it works

本プロジェクトは、Diffusion Transformer (DiT) アーキテクチャと Flow Matching を組み合わせて使用します。これらのモデルを十億パラメータ規模にスケールアップすることで、指示への追従性を向上させます。学習プロセスは、以下の 3 つの段階で構成されています：

1. Large-Scale Pre-training: 3,000 時間以上の動作データから広範範的な動作の事前学習を行います。

2. High-Quality Fine-tuning: 400 時間の厳選されたデータを使用して、動作の詳細と滑らかさを洗練させます。

3. Reinforcement Learning: 人間のフィードバックと報酬モデルを使用して、動作の自然さとプロンプトへの追従性をさらに向上させます。

Who it’s for

このツールは、既存の 3D アニメーション・パイプラインに統合可能な、骨格ベースの 3D キャラクター・アニメーションを生成する必要がある開発者や 3D アニメーター向けに設計されています。

Highlights

• Billion-Scale Parameters: 指示理解を向上させるため、初めて DiT-based text-to-motion モデルを十億パラメータ規模にスケールアップしました。

• Three-Stage Training: 事前学習、高品質な精細調優、 高品質な RLHF を含む、包括的なパイプライン。

• Hunyuan-1.0 and Lite versions: 標準的な 1.0B パラメータモデルと、軽量版の 0.46B バージョンを提供します。

• VLM-based Evaluation: 生成された動作がテキストプロンプトとどれだけ一致するかを評価するための SSAE (Structured Semantic Alignment Evaluation) を含んでいます。