localai-org/kimodo.cpp

해결하는 문제

NVIDIA의 Kimodo 텍스트에서 모션 생성 모델의 고성능 C++ 구현을 제공하여, 무거운 Python 환경 없이 로컬 하드웨어에서 텍스트 프롬프트로부터 인간의 움직임 시퀀스를 생성할 수 있도록 합니다.

작동 방식

이 프로젝트는 GGML/C++ 프레임워크를 사용하여 Kimodo 모델을 실행합니다. UTF-8 텍스트 프롬프트 또는 사전 계산된 LLM2Vec 임베딩 중 하나를 입력으로 받습니다. 이후 SMPL-X22의 로컬 회전과 루트 변위를 생성하여 인간의 움직임을 표현합니다. 성능과 VRAM 사용량을 최적화하기 위해 CPU와 Vulkan 지원 GPU 모두에서 실행이 가능합니다.

대상 사용자

인간의 움직임 합성, 3D 애니메이션, 몸체 지능과 관련된 개발자 및 연구자로서, 텍스트에서 모션 생성을 위한 가벼운 로컬 추론 엔진이 필요한 분들.

주요 특징

• 하드웨어 유연성: CPU 및 Vulkan을 통한 가속을 지원합니다.
• C/C++ API: 다른 소프트웨어에 통합하기 위한 네이티브 API 제공.
• GGUF 지원: 효율적인 모델 로딩 및 가중치 관리를 위한 GGUF 형식 사용.
• 통합 데모: 프롬프트 테스트 및 애니메이션 기록 관리가 가능한 로컬 웹 기반 데모 포함.