Picsart-AI-Research/MI-GAN
[ICCV 2023] MI-GAN: A Simple Baseline for Image Inpainting on Mobile Devices
解決する課題
MI-GANは、モバイルデバイス向けに高品質な画像修復（画像内の欠損部分や不要な部分の補完）を行うために設計されています。モデルサイズを小さく保ち、高速な推論速度を維持しながら最先端の成果を達成するという課題に取り組み、デバイス上での処理を可能にしました。
仕組み
MI-GANは、修復のための軽量なベースラインとして機能します。教師・生徒フレームワークを使用して学習され、より大きく複雑なモデル（Co-Mod-GAN）が教師として、より小さなMI-GAN生徒ネットワークの学習をガイドします。このプロジェクトには、教師モデルと生徒モデルの両方を学習するためのツールや、モデルをONNX形式にエクスポートしてモバイルアプリケーションにシームレスに統合するためのスクリプトが含まれています。
対象読者
このプロジェクトは、モバイルハードウェア上でAIを活用した画像編集ツールをデプロイすることに関心のある開発者や研究者、および効率的なGANベースの画像合成を研究している方に適しています。
ハイライト
- モバイル最適化: 最近の最先端手法と比較して1桁小さく高速でありながら、低いFID (Fréchet Inception Distance) を維持しています。
- 汎用性: 複雑なシーン画像と顔画像 (FFHQ) の両方で妥当な結果を生成可能です。
- 開発者フレンドリー: 前処理と後処理を含むパイプライン全体を単一のONNXファイルに変換するスクリプトが含まれています。
- 統合準備完了: IOPaintなどのツールと互換性があり、すぐにテストを開始できます。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト