OpenVGLab/OmniLottie

[CVPR 2026🔥] 🧑‍🎨 OmniLottie, an open-sourced multi-modal instructed vector animation generator that produces Lottie JSONs.

What it solves

OmniLottie 解决了创建复杂向量动画（Lottie 文件）的难题，提供端到端的多模态生成器。它允许用户使用文字、图像或视频等多种输入方式来创建这些动画，而无需在专业软件中手动设计。

How it works

该项目利用预训练的视觉‑语言模型（VLM）将多模态指令转换为参数化的 Lottie 令牌。它支持三种主要工作流：

  • Text-to-Lottie：从描述性文字提示生成动画。
  • Image-to-Lottie：基于提供的图像和可选的文字指导创建动画。
  • Video-to-Lottie：将现有视频文件转换为基于向量的 Lottie 动画。

Who it’s for

此工具面向设计师、开发者和研究人员，帮助他们在不需要手动逐帧动画技能的情况下，为网页或应用界面获取高质量、可扩展的向量动画。

Highlights

  • Multimodal Input：支持文字、图像和视频作为动画生成的起点。
  • Large-scale Dataset：包含 MMLottie-2M，两个百万条丰富标注的 Lottie 动画数据集。
  • Standardized Benchmarking：提供 MMLottieBench 用于评估向量动画生成器的质量和能力。
  • Flexible Deployment：提供原始 PyTorch 权重和 HuggingFace 兼容格式，并包括 Gradio 演示和社区贡献的 ComfyUI 插件。