LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler

何を解決するか

このプロジェクトは、Minimax H3モデルにおいて、潜在変数をピクセルにデコードし、アップスケールしてから、再び潜在変数に再エンコードするという、低速で計算コストの高いプロセスを経由せずに、ビデオの潜在変数をアップスケールする方法を提供します。潜在空間で直接アップスケールを行うことで、高解像度ビデオ生成を大幅に加速し、単純な補間によって引き起こされるゴースト現象や二重画像のような一般的なアーティファクトを回避します。

仕組み

24チャンネルのMinimax H3 VAE潜在変数をアップスケールするために、学習済みニューラルネットワークを使用するカスタムComfyUIノードを導入します。主に2つのニューラルアップスケーラーのバリエーションを提供します：

• 2D Upscaler: 軽量なResBlockバックボーンに、時間的一貫性を維持しながら空間的なアップスケールを行うための時間的3D-Convレイヤーを備えています。
• 3D Upscaler: 完全な3D畳み込みバックボーンを使用し、時空間ボリュームを共同で処理することで、より強力な一貫性を実現します。倍率、ターゲット次元、または総メガピクセル数によるスケーリングをサポートします。

さらに、タイル分割された「hires-fix」スタイルの再サンプリング・アップスケーラーである MMH3 Split Upscale コンボが含まれています。学習済みネットワークを使用する代わりに、AV潜在変数を時間的なチャンクと空間的なタイルに分割し、各パーツを高解像度で拡散サンプラー（diffusion sampler）上で再実行し、シーム・デノイズ、2レベルのカラーマッチング、およびフリッカーや継ぎ目を防ぐための時間的アンカーを使用してそれらを結合します。

対象ユーザー

ComfyUIおよびMinimax H3ビデオ生成モデルを使用しており、より高速に、より優れた視覚的品質と時間的一貫性を持って高解像度ビデオを生成したいユーザー。

ハイライト

• Neural Latent Upscaling: 単純な補間ではなく学習済みネットワークを使用することで、より鮮明な結果を得られます。
• 2つのバックボーン・オプション: 高速な2Dバリエーションと、より一貫性の高い3Dバリエーションの選択が可能です。
• Tiled Re-sampling: VRAMの制限内で高解像度ビデオを扱うための、分解・最適化されたタイリング・システム（MMH3 Split Upscale）。
• Advanced Stitching: ゴースト現象やタイル間のフリッカーを排除するための、シーム・デノイズ、カラーマッチング、およびトリプル時間的アンカー機能。
• Flexible Sizing: 倍率、特定のターゲット次元、またはメガピクセル数によるスケーリングをサポートし、自動ピクセルグリッド整列機能も備えています。