hustvl/Moebius

何を解決するか

Moebiusは、AI画像インペイントにおいて「規模を犠牲にしない」傾向に対処しています。高品質な結果を得るには通常、巨大な基礎モデル（10B+パラメータ）が必要で、計算コストが高く、処理が遅くなります。Moebiusは、産業レベルの品質を維持しながら、パラメータ数と推論時間を大幅に削減する軽量な代替手段を提供し、消費者向けデバイスやエッジデバイスでも高品質なインペイントを実現可能にします。

動作原理

Moebiusは、アーキテクチャの革新と知識蒸留を組み合わせて、その効率性を達成しています。

• LΙMI Block: 自己注意とクロス注意を再定式化するカスタムアーキテクチャ。空間的コンテキストとグローバルな意味的事前知識を固定サイズの線形行列に凝縮し、通常の注意機構に伴う二次計算オーバーヘッドを排除します。
• 適応的マルチスケール蒸留: モデルは「生徒」として、より大きな「教師」モデル（PixelHacker）から学習します。微視的な中間特徴から巨視的な拡散軌道まで、複数のレベルで監視を統合し、ピクセル空間でのデコードを避けるために、厳密に潜在空間内で行います。
• 相乗的バランス調整: コンパクトなモデル構造と蒸留プロセスの関係を最適化し、生徒モデルが最大限の意味的推論を吸収できるようにしつつ、性能の限界に達しないようにします。

対象ユーザー

Moebiusは、高パフォーマンスな画像インペイントやAIオブジェクト除去が必要だが、ハードウェア制約やエッジデバイスでのリアルタイム推論速度を必要とする開発者や研究者向けに設計されています。

主な特徴

• 極めて効率的: 0.22Bパラメータのみを使用しており、FLUX.1-Fill-Devなどのモデルの2%未満のサイズです。
• 高速: 1ステップあたり約26msの遅延で、15倍以上の推論加速を実現します。
• 競争力のある品質: 自然なシーンとポートレートシーンの6つのベンチマークにおいて、10Bレベルの最先端モデルと同等またはそれ以上の性能を発揮します。
• 専門的焦点: 一般的な用途のモデルではなく、インペイントに特化して最適化されています。