genmoai/mochi
The best OSS video generation models, created by Genmo
解决的问题
Mochi 1 是一款开源视频生成模型,旨在缩小闭源与开源高保真视频生成技术之间的差距。它专注于高保真动作与对用户提示的强大遵循能力,并针对逼真风格进行了特别优化。
运作原理
它使用基于新型非对称扩散 Transformer (AsymmDiT) 架构的 100 亿参数扩散模型。此架构通过为文本与视觉流使用独立的 MLP 层与不同的隐藏维度,简化了文本处理,从而将更多神经容量集中于视觉推理。在压缩方面,它采用了 AsymmVAE,能将视频因果压缩至 128 分之一的大小。
适用对象
希望使用高容量、可修改的开源视频生成模型,并能在高端 GPU(建议使用 1 张 H100)上运行或通过可组合 API 进行集成的研究人员与开发者。
特色亮点
- AsymmDiT 架构:一款 100 亿参数的模型,通过非对称处理文本与视觉 Token 来优化内存与处理性能。
- LoRA 微调:包含易于使用的训练器,可针对个人视频数据集自定义模型。
- 开放权重:以宽松的 Apache 2.0 授权条款发布。
- 灵活接口:提供 Gradio UI、CLI 以及用于视频生成的程序化 API。
相关
- 项目
- 项目
- 项目
- 项目