blendi-remade/prompt2rig

해결하는 문제

3D 캐릭터 애니메이션을 만드는 데는 일반적으로 모션 캡처 장비, 수동 키프레임 설정 또는 대규모 모션 라이브러리 검색이 필요합니다. prompt2rig는 이러한 마찰을 제거합니다: 동작 설명을 입력하면 비디오 모델이 그 동작을 수행하는 사람의 클립을 생성하고, GPU가 해당 클립에서 깨끗한 3D 바디 및 핸드 모션을 복구합니다. 결과는 브라우저의 Mixamo 캐릭터에서 라이브로 재생되며 Blender 또는 Unity로 내보낼 수 있습니다. 또한 고정 비율 바디에 관절 회전을 출력하는 전체 클립 모델(GVHMR)을 사용하여 지터, 팔다리 늘어남, 팔뚝 비틀림과 같은 일반적인 포즈 추정 문제를 해결합니다.

작동 방식

1. 프롬프트에서 비디오로 – 프롬프트를 입력하거나(또는 사전 설정 선택) fal의 빠른 비디오 모델(품질은 FLUX 3 Max, 속도는 H3 Max Turbo)이 연기자가 동작을 수행하는 짧은 클립을 생성합니다. 모든 클립은 동일한 생성 연기자 이미지에서 시작하며, 포즈 추정이 이를 선호합니다.
2. 라이브 미리보기 – 클립이 생성되는 동안 MediaPipe Pose가 브라우저에서 실행되어 포즈를 프레임별로 Mixamo 리그에 리타겟팅하여 대기 시간을 덮는 즉각적인 대략적인 미리보기를 제공합니다.
3. 고품질 모션 패스 – 로컬 GPU에서 GVHMR이 전체 클립을 한 번에 처리하고 SMPL 바디 회전과 중력 인식 루트 경로를 출력합니다. 병렬로 WiLoR이 각 손의 손바닥과 모든 15개 손가락 관절을 추정합니다(MANO 핸드 모델을 제공하지 않으면 MediaPipe Hands로 폴백). 이 패스는 RTX 4090에서 5초 클립에 대해 약 3.5~4초가 걸립니다.
4. 리타겟 및 내보내기 – 모션은 모든 Mixamo 캐릭터(X Bot, Michelle, Soldier 또는 자체 .fbx/.glb)에 리타겟됩니다. 스트림 모드에서 클립을 연결하고, 캐릭터를 전환하고, 스킨된 캐릭터를 애니메이션과 함께 .glb 파일로 내보낼 수 있습니다.

대상 사용자

• 애니메이터 및 게임 개발자: 수동 리깅 없이 텍스트 프롬프트에서 빠른 모션 아이디어를 원하는 분.
• Blender 또는 Unity 사용자: 텍스트에서 애니메이션 캐릭터로의 빠른 파이프라인이 필요한 분.
• 크리에이터: AI 지원 애니메이션을 탐구하는 분; 이 도구는 Windows 11 및 NVIDIA GPU에서 테스트되었습니다.
• 애호가: Node.js와 Python에 익숙하고 로컬 모션 워커를 실행하려는 분.

하이라이트

• 프롬프트 전용 워크플로우 – 모션 캡처 장비나 수동 키프레임 없이 동작을 설명하기만 하면 됩니다.
• 전체 클립 모션 복구 – GVHMR이 전체 클립을 보고 지터와 팔다리 아티팩트를 피하며 중력 인식 루트 경로를 복구합니다.
• 손가락 추적 포함 – WiLoR이 각 손에 손바닥과 모든 15개 손가락 관절을 추가하며, 손이 감지되지 않으면 자연스러운 컬 폴백을 제공합니다.
• 생성 중 라이브 미리보기 – 브라우저의 MediaPipe가 HQ 모션 계산 중에 즉각적인 피드백을 제공합니다.
• Mixamo 호환성 – 모든 Mixamo 리그(T-포즈)에서 작동하며 Blender 또는 Unity에 적합한 스킨 .glb 파일을 내보냅니다.
• 스트림 모드 – 클립을 연속 공연으로 연결; 각 클립은 마지막 프레임에서 이어집니다.
• 빠르고 최적화됨 – HQ 워커는 단일 인물 생성 클립에 맞게 조정되었습니다(RTX 4090에서 클립당 10초 → 3.4초).
• 추가 기능 – 헤드리스 Blender 렌더링, 오프스크린 캡처 도구, 핸드 포즈 테스트 벤치.
• 라이선스 경고 – 웹 앱과 라이브 미리보기는 Apache-2.0이지만 HQ 모션 경로(GVHMR, SMPL-X, WiLoR, MANO)는 연구/비상업용입니다; 상업 제품은 해당 구성 요소를 교체하거나 라이선스를 취득해야 합니다.