jtydhr88/ComfyUI-HY-Motion1

해결하는 문제

이 프로젝트는 텍스트 설명에서 3D 인간 동작을 생성할 수 있는 ComfyUI 플러그인을 제공합니다. 3D 애니메이션 제작 과정을 단순화하여, 동작 생성, 프롬프트 최적화, 산업 표준 형식인 GLB 및 FBX로의 내보내기를 자동화합니다.

작동 방식

이 플러그인은 텍스트에서 동작으로 변환하는 데 HY-Motion 1.0 모델을 통합합니다. 텍스트 인코더(Qwen3-8B LLM 기반)와 동작 확산 네트워크로 구성된 파이프라인을 사용합니다. 결과를 향상시키기 위해 LLM을 사용하여 사용자 입력을 최적화하고 필요한 동작 지속 시간을 추정하는 "프롬프트 재작성" 기능을 포함합니다. 생성된 동작은 2D 스켈레톤 또는 인터랙티브 3D 뷰어를 통한 미리 보기 및 내보내기용 다양한 노드를 통해 처리됩니다.

대상 사용자

ComfyUI를 사용하고 있으며 수동 키프레임 없이 인간 동작 시퀀스를 생성하고자 하는 3D 애니메이터, 게임 개발자, AI 연구자.

주요 특징

• 텍스트에서 동작 생성: 텍스트 프롬프트에서 직접 3D 인간 애니메이션을 생성.
• LLM 기반 프롬프트: 자동으로 프롬프트를 재작성하고 품질 향상을 위한 동작 지속 시간 추정.
• 유연한 내보내기: 프론트엔드를 통해 GLB 지원, 사용자 정의 Mixamo 캐릭터 리타겟팅을 통해 FBX 지원.
• 메모리 최적화: GGUF, AWQ, BitsAndBytes 양자화를 지원하여 낮은 VRAM GPU에서도 작동 가능하며, LLM을 CPU로 오프로드할 수 있는 옵션 제공.
• 인터랙티브 미리 보기: 재생 컨트롤과 스켈레톤/메시 전환 기능을 갖춘 Three.js 기반 3D 뷰어 포함.