OpenVGLab/OmniLottie

[CVPR 2026🔥] 🧑‍🎨 OmniLottie, an open-sourced multi-modal instructed vector animation generator that produces Lottie JSONs.

What it solves

OmniLottie는 복잡한 벡터 애니메이션(Lottie 파일) 제작의 어려움을 해결하고, 엔드‑투‑엔드 멀티모달 생성기를 제공합니다. 사용자는 텍스트, 이미지, 비디오 등 다양한 입력을 통해 애니메이션을 만들 수 있어, 전문 소프트웨어에서 수동으로 디자인할 필요가 없습니다.

How it works

이 프로젝트는 사전 학습된 비전‑언어 모델(VLM)을 활용해 멀티모달 지시를 파라미터화된 Lottie 토큰으로 변환합니다. 주요 워크플로는 다음 세 가지입니다:

  • Text-to-Lottie: 설명 텍스트 프롬프트로부터 애니메이션을 생성합니다.
  • Image-to-Lottie: 제공된 이미지와 선택적인 텍스트 가이드를 기반으로 애니메이션을 만듭니다.
  • Video-to-Lottie: 기존 비디오 파일을 벡터 기반 Lottie 애니메이션으로 변환합니다.

Who it’s for

이 도구는 디자이너, 개발자, 연구자를 위해 설계되었으며, 프레임‑바이‑프레임 애니메이션 기술 없이도 웹 또는 앱 인터페이스용 고품질, 확장 가능한 벡터 애니메이션을 제공할 수 있습니다.

Highlights

  • Multimodal Input: 텍스트, 이미지, 비디오를 애니메이션 생성의 시작점으로 지원합니다.
  • Large-scale Dataset: 200만 개의 풍부하게 주석된 Lottie 애니메이션을 포함한 MMLottie-2M 데이터셋을 제공합니다.
  • Standardized Benchmarking: 벡터 애니메이션 생성기의 품질과 성능을 평가하기 위한 MMLottieBench를 제공합니다.
  • Flexible Deployment: 원본 PyTorch 가중치와 HuggingFace 호환 포맷을 제공하며, Gradio 데모와 커뮤니티 기여 ComfyUI 플러그인도 포함합니다.