patch-gg/anymove

해결하는 문제

AnyMove는 AI가 생성한 단일 비디오를 완전히 관절화된 3D 애니메이션으로 변환하여 복잡하고 리깅된 3D 생물의 애니메이션 제작 어려움을 해결합니다. 두 카메라 비디오 접근 방식을 사용하여 3D 공간에서 관절 움직임을 추적함으로써 수동 프레임별 편집의 필요성을 제거합니다.

작동 방식

이 프로세스는 단일 비디오 프레임에서 두 카메라 설정(정면 뷰와 측면 뷰)을 사용합니다. 맞춤 훈련된 "관절 판독기"가 두 뷰에서 생물의 관절을 식별합니다. 각 관절이 두 카메라 각도에서 동일한 높이에 있기 때문에 시스템은 모든 관절의 정확한 3D 위치를 계산합니다. 이 데이터는 생물의 디지털 골격을 각 프레임의 올바른 포즈로 구부리는 데 사용되며, 최종적으로 GLB 파일로 내보내집니다.

대상 사용자

이 도구는 드래곤, 거미, 악마와 같은 맞춤 생물을 전통적인 모션 캡처 하드웨어나 광범위한 수동 키프레임 없이 애니메이션화하려는 3D 아티스트, 개발자 및 크리에이터를 위한 것입니다. Python, Blender 및 클라우드 기반 AI 생성 서비스 사용에 익숙한 사용자를 위해 설계되었습니다.

주요 특징

• 하나의 AI 생성 비디오 클립을 1분 이내에 3D 애니메이션으로 변환합니다.
• 날개, 꼬리 및 여러 다리를 가진 복잡한 생물을 지원합니다.
• DINOv2 기반 비전 모델을 사용하여 관절을 높은 정밀도로 추적합니다.
• 메시 준비, 스켈레톤 리깅 및 자동 모션 캡처를 포함한 모듈식 파이프라인을 제공합니다.
• AI 코딩 어시스턴트가 설정 및 문제 해결 과정을 안내할 수 있는 "Agent Skills"를 포함합니다.