genmoai/mochi

해결하는 문제

Mochi 1은 클로즈드 소스와 오픈 소스 고충실도 비디오 생성 기술 간의 격차를 해소하기 위해 설계된 오픈 소스 비디오 생성 모델입니다. 고충실도의 움직임과 사용자 프롬프트에 대한 강력한 준수 능력에 중점을 두며, 특히 사실적인 스타일에 최적화되어 있습니다.

작동 원리

이 모델은 새로운 비대칭 확산 Transformer (AsymmDiT) 아키텍처를 기반으로 하는 100억 파라미터 확산 모델을 사용합니다. 이 아키텍처는 텍스트 스트림과 시각적 스트림에 대해 별도의 MLP 레이어와 서로 다른 은닉 차원을 사용하여 텍스트 처리를 간소화함으로써, 더 많은 신경망 용량을 시각적 추론에 집중시킵니다. 압축을 위해 AsymmVAE를 사용하여 비디오를 인과적으로 128분의 1 크기로 압축합니다.

대상 사용자

고성능 GPU(H100 1개 권장)에서 실행하거나 구성 가능한 API를 통해 통합할 수 있는, 대용량의 수정 가능한 오픈 소스 비디오 생성 모델을 원하는 연구자 및 개발자.

주요 특징

• AsymmDiT 아키텍처: 텍스트 토큰과 시각적 토큰을 비대칭적으로 처리하여 메모리와 처리 성능을 최적화하는 100억 파라미터 모델.
• LoRA 파인튜닝: 개인 비디오 데이터셋으로 모델을 사용자 정의할 수 있는 사용하기 쉬운 트레이너 포함.
• 오픈 웨이트: 허용적인 Apache 2.0 라이선스로 배포.
• 유연한 인터페이스: 비디오 생성을 위한 Gradio UI, CLI 및 프로그래밍 가능한 API 제공.