genmoai/mochi

解決する課題

Mochi 1は、クローズドソースとオープンソースの高忠実度動画生成技術のギャップを埋めるために設計されたオープンソース動画生成モデルです。高忠実度な動きとユーザーのプロンプトに対する強力な追従性に重点を置いており、特に写実的なスタイルに最適化されています。

仕組み

100億パラメータの拡散モデルをベースとし、新しい非対称拡散Transformer (AsymmDiT) アーキテクチャを採用しています。このアーキテクチャは、テキストストリームとビジュアルストリームに個別のMLP層と異なる隠れ次元を使用することでテキスト処理を効率化し、より多くのニューラル容量を視覚的推論に集中させます。圧縮にはAsymmVAEを採用し、動画を因果的に128分の1のサイズまで圧縮します。

対象ユーザー

ハイエンドGPU（H100を1基推奨）で実行可能、またはコンポーザブルなAPIを介して統合可能な、大容量でカスタマイズ可能なオープンソース動画生成モデルを求める研究者や開発者。

ハイライト

• AsymmDiTアーキテクチャ: テキストトークンとビジュアルトークンを非対称に扱うことで、メモリと処理を最適化する100億パラメータモデル。
• LoRAファインチューニング: 個人の動画データセットでモデルをカスタマイズするための使いやすいトレーナーが含まれています。
• オープンウェイト: 寛容なApache 2.0ライセンスの下でリリースされています。
• 柔軟なインターフェース: 動画生成のためのGradio UI、CLI、およびプログラム可能なAPIを提供します。