ComfyUIにおけるMiniMax H3のサポート

ComfyUIは、ステレオオーディオを統合した最大2Kの高解像度ビデオを生成できる、オープンウェイトのオムニモーダル・ビデオモデルであるMiniMax H3のデイゼロ・サポートを実装しました。大幅な機械学習の最適化により、RTX 3060を含むコンシューマー向けGPUでも利用可能です。

MiniMax H3のコア機能

MiniMax H3は、複数の生成タスクを単一のオムニモーダル・フレームワークに集約した第3世代のビデオモデルです。テキスト、画像、ビデオ、オーディオ入力を処理し、最大15秒の長さのクリップを生成できます。

マルチモーダルな文脈理解

このモデルの主な強みは、異なる入力モダリティ間の関係を解決する能力にあります。ユーザーは、画像、オーディオ、ビデオの組み合わせと、これらの要素がどのように関連するかを説明するプロンプトを提供でき、モデルはクロスモーダルな合成を自動的に処理します。

ネイティブ・ステレオオーディオ

多くのビデオモデルが後処理としてオーディオを追加するのに対し、MiniMax H3はビデオ生成と同じパス内でステレオオーディオをネイティブに生成します。これにより、音はオーバーレイではなく、生成されたシーンの根本的な特性となります。

生成モード

Text-to-Video: テキストプロンプトのみに基づいてビデオを生成します。
Image-to-Video: 静止画をビデオクリップとしてアニメーション化します。
First-and-Last-Frame: 開始フレームと終了フレームを定義でき、モデルはその間の動きを補間します。
Reference-to-Video: リファレンス画像、ビデオ、またはオーディオを使用して、クリップ全体を通じて被写体、動き、または声を維持します。これは、リファレンスビデオがカメラワークやパフォーマンスを提供し、被写体やスタイルが別途定義されるモーション・トランスファーにおいて特に有用です。

ComfyUIにおけるローカル推論の最適化

MiniMax H3をコンシューマー向けハードウェアで実行できるようにするため、ComfyUIはモデルの膨大なメモリ要件を削減するためにいくつかのエンジニアリング最適化を適用しました。

重みのプルーニングとルックアップテーブル

エンジニアは、モデルの全パラメータの約40%（具体的には変調ウェイト）をプルーニングし、機能的に同等のルックアップテーブルに置き換えることができることを発見しました。このウェイトの削減は、出力品質を損なうことなく達成されました。

量子化とVRAM管理

ComfyUIは、ピークVRAM使用量を抑えるために、int8 convrot量子化とカスタムカーネルを利用しています。動的なVRAMオフローディングと組み合わせることで、これらの最適化により、総メモリフットプリントが66%削減され、フル精度では123.6 GBであったものが、最小のモデルバリアントでは42.5 GBまで低下しました。

コミュニティの洞察とパフォーマンス

早期導入者やコミュニティメンバーは、以前のSOTA（最先端）モデルと比較して品質が大幅に向上したと指摘していますが、いくつかの制限も残っています。

ハードウェア・パフォーマンス

ユーザーの報告によると、生成時間はハードウェアによって異なります。

"Im running this on my 4070ti super (16 gb vram), and it takes 10 minutes for a 10-seconds 480p video. but the results are spectacular."

他のユーザーは、10秒間の0.5メガピクセルのビデオを数分で生成できると報告しており、これはWANのような以前のモデルよりも速度が向上していることを示しています。

定性的フィードバック

"Reference-to-video"モードは、より精密なシネマトグラフィとシーンの結合を可能にするとして称賛されていますが、一部のユーザーは、飲料缶を開ける動作のような特定のクローズアップ・ショットにおいて、依然として「AIスムージング」効果が見られると指摘しています。さらに、一部のユーザーは、モデルが「奇妙なコンセプト」や非標準的なシナリオにおいて、物理法則やシーンのロジックが崩壊する可能性があると観察しています。

実装ガイド

ComfyUIでMiniMax H3を使用するには、ユーザーはバージョン 0.30.0 にアップデートするか、Comfy Cloudを使用する必要があります。プロセスは以下の通りです。

ComfyUIをv0.30.0にアップデートする。
Comfy-Orgのテンプレートライブラリから特定のワークフロー（T2V, I2V, または R2V）をダウンロードする。
Comfy-Org/MiniMax-H3 Hugging Faceリポジトリからモデルのウェイトをダウンロードし、指定されたモデルディレクトリに配置する。