Picsart-AI-Research/MI-GAN

[ICCV 2023] MI-GAN: A Simple Baseline for Image Inpainting on Mobile Devices

解决的问题

MI-GAN 旨在为移动设备执行高质量的图像修复(填补图像中缺失或不需要的部分)。它解决了在保持小模型尺寸和快速推理速度的同时实现最先进结果的挑战,使其适用于设备端处理。

运作原理

MI-GAN 作为一个轻量级的修复基准。它使用教师-学生框架进行训练,其中一个更大、更复杂的模型(Co-Mod-GAN)作为教师来指导较小的 MI-GAN 学生网络的训练。该项目提供了训练教师和学生模型的工具,以及将模型导出为 ONNX 格式的脚本,以便无缝集成到移动应用程序中。

适用对象

此项目适合对在移动硬件上部署 AI 驱动的图像编辑工具感兴趣的开发者和研究人员,以及研究高效基于 GAN 的图像合成的人员。

特点

  • 移动设备优化:比最近的最先进方法小一个数量级且速度更快,同时保持较低的 FID (Fréchet Inception Distance)。
  • 多功能:能够在复杂场景图像和人脸图像 (FFHQ) 上产生合理的结果。
  • 开发者友好:包含一个将整个流程(包括预处理和后处理)转换为单一 ONNX 文件的脚本。
  • 集成就绪:与 IOPaint 等工具兼容,可立即进行测试。

相关

  • 项目
  • 项目
  • 项目
  • 项目