SkyworkAI/UniPic

Open-source SOTA multi-image editing model

What it solves

Skywork-UniPic 是一系列旨在于单一框架内处理图像生成、编辑和理解的统一多模态模型。它消除了为不同视觉任务使用单独模型的需求，为高保真合成与鲁棒的感知提供了一套多功能的工具集。

How it works

该项目包含三种不同的建模范式：

  • UniPic-3: 一个支持 1–6 张输入图像的多图编辑模型，支持灵活的解析度。它使用 CM + DMD distillation 来实现 8 步推理，从而实现 🔍 12.5x 速度提升。
  • UniPic-2: 基于高效架构并结合 Diffusion Post-Training，具有如 SD3.5M-Kontext 和 MetaQuery 等变体，用于文本到图像生成、细粒度编辑和多模态推理。
  • UniPic-1: 一个 1.5B 参数的模型，使用 Unified Autoregressive Modeling 来在单一 Transformer 中同时处理视觉感知（理解）和合成（生成）。

Who it’s for

内容创作者、AI 研究人员和开发者，他们需要一种统一的方法来进行图像操纵、高速图像编辑和多模态视觉推理。

Highlights

  • Unified Framework: Combines generation, editing, and understanding in one series.
  • Multi-Image Support: UniPic-3 can process up to 6 input images for composition.
  • High-Speed Inference: UniPic-3 offers 12.5x faster inference via 8-step 🔍 8-step distillation.
  • Diverse Paradigms: Offers autoregressive and diffusion-based post-training approaches.