Tencent-Hunyuan/HY-Motion-1.0

What it solves

HY-Motion 1.0은 텍스트 설명으로부터 고품질의 자연스러운 3D 인체 애니메이션을 생성하는 과제를 해결합니다. 이전의 오픈소스 모델들과 비교하여, 텍스트 프롬프트와 생성된 동작의 의미론적 정렬(semantic alignment)을 강화하고, 캐릭터의 움직임의 전반적인 부드러움과 사실감을 향상시켰습니다.

How it works

이 프로젝트는 Diffusion Transformer (DiT) 아키텍처와 Flow Matching을 결합합니다. 이 모델들을 10억 파라미터 규모로 확장하여 지시사항 준수 능력을 향상시킵니다. 학습 과정은 세 단계로 구성됩니다:

1. Large-Scale Pre-training: 3,000시간 이상의 동작 데이터로부터 광범위한 동작 사전 학습을 수행합니다.

2. High-Quality Fine-tuning: 400시간의 큐레이션된 데이터를 사용하여 동작의 디테일과 부드러움을 정교화합니다.

3. Reinforcement Learning: 인간 피드백과 보상 모델을 사용하여 동작의 자연스러움과 프롬프트 준수 능력을 더욱 향상시킵니다.

Who it’s for

이 도구는 기존 3D 애니메이션 파이프라인에 통합할 수 있는 골격 기반 3D 캐릭터 애니메이션을 생성해야 하는 개발자와 3D 애니메이터를 위한 것입니다.

Highlights

• Billion-Scale Parameters: 더 나은 지시사항 이해를 위해 DiT-based text-to-motion 모델을 최초-로 10억 파라미터 규모로 확장했습니다.

• Three-Stage Training: 사전 학습, 고품질 미세 조정, 그리고 RLHF를 포함하는 포괄적인 파이프라인입니다.

• Hunyuan-1.0 and Lite versions: 표준 1.0B 파라미터 모델과 경량화된 0.46B 버전을 모두 제공합니다.

• VLM-based Evaluation: 생성된 동작이 텍스트 프롬프트와 얼마나 잘 일치하는지 평가하기 위한 SSAE (Structured Semantic Alignment Evaluation)를 포함합니다.