OpenVGLab/OmniLottie

[CVPR 2026🔥] 🧑‍🎨 OmniLottie, an open-sourced multi-modal instructed vector animation generator that produces Lottie JSONs.

What it solves

OmniLottie 解決了製作複雜向量動畫（Lottie 檔案）的困難，提供端到端的多模態生成器。它允許使用者透過文字、圖像或影片等多種輸入方式來建立動畫，而不必在專業軟體中手動設計。

How it works

此專案利用預訓練的視覺‑語言模型（VLM）將多模態指令轉換為參數化的 Lottie 代幣。它支援三種主要工作流程：

  • Text-to-Lottie：從描述性文字提示產生動畫。
  • Image-to-Lottie：根據提供的圖像與可選的文字指引建立動畫。
  • Video-to-Lottie：將現有影片檔案轉換為向量化的 Lottie 動畫。

Who it’s for

此工具設計給設計師、開發者與研究人員使用，讓他們在不需要手動逐格動畫技巧的情況下，為網站或應用介面取得高品質、可擴展的向量動畫。

Highlights

  • Multimodal Input：支援文字、圖像與影片作為動畫生成的起點。
  • Large-scale Dataset：包含 MMLottie-2M，兩百萬筆豐富標註的 Lottie 動畫資料集。
  • Standardized Benchmarking：提供 MMLottieBench 以評估向量動畫生成器的品質與能力。
  • Flexible Deployment：提供原始 PyTorch 權重與 HuggingFace 相容格式，並包含 Gradio 示範與社群貢獻的 ComfyUI 外掛。