Picsart-AI-Research/MI-GAN
[ICCV 2023] MI-GAN: A Simple Baseline for Image Inpainting on Mobile Devices
해결하는 문제
MI-GAN은 모바일 기기에서 고품질 이미지 인페인팅(이미지의 누락되거나 원치 않는 부분을 채우는 작업)을 수행하도록 설계되었습니다. 작은 모델 크기와 빠른 추론 속도를 유지하면서 최첨단 성능을 달성하는 과제를 해결하여 온디바이스 처리에 적합합니다.
작동 원리
MI-GAN은 인페인팅을 위한 경량 베이스라인 역할을 합니다. 더 크고 복잡한 모델(Co-Mod-GAN)이 교사 역할을 하여 더 작은 MI-GAN 학생 네트워크의 학습을 안내하는 교사-학생 프레임워크를 사용하여 학습됩니다. 이 프로젝트는 교사 및 학생 모델을 학습하기 위한 도구와, 모델을 ONNX 형식으로 내보내 모바일 애플리케이션에 원활하게 통합할 수 있는 스크립트를 제공합니다.
대상 사용자
이 프로젝트는 모바일 하드웨어에서 AI 기반 이미지 편집 도구를 배포하는 데 관심이 있는 개발자 및 연구원, 그리고 효율적인 GAN 기반 이미지 합성을 연구하는 분들을 위한 것입니다.
주요 특징
- 모바일 최적화: 최근의 최첨단 접근 방식보다 10배 더 작고 빠르면서도 낮은 FID (Fréchet Inception Distance)를 유지합니다.
- 범용성: 복잡한 장면 이미지와 얼굴 이미지(FFHQ) 모두에서 그럴듯한 결과를 생성할 수 있습니다.
- 개발자 친화적: 전처리 및 후처리를 포함한 전체 파이프라인을 단일 ONNX 파일로 변환하는 스크립트가 포함되어 있습니다.
- 통합 준비 완료: IOPaint와 같은 도구와 호환되어 즉시 테스트가 가능합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트