Enderfga/SolarRenderer

SolarRenderer は、ラフな「構造ビデオ」—グレーボックスモックアップ、セマンティックマップ、スケルトン、深度データ、ボディメッシュ、またはこれまで見たことのないスケッチなど—を、完成された洗練されたビデオに変換するツールです。オプションで最初のフレームとテキストプロンプトを指定して、最終的な外観（フォトリアル、アニメ、ピクセルアート、インクなど）を制御できます。

仕組み： MiniMax-H3 というビデオモデルを基盤とし、2つの小さなアダプターモジュール（LoRA）を追加します。1つのアダプターは構造入力を理解するのに役立ち、もう1つはわずか4つの生成ステップで完全なクリップを生成できるようにします。README によると、これは通常の50ステップのアプローチより12.3倍高速です。同じアダプターの特別な「ブロック因果」バージョンは、ビデオをブロックごとにストリーミングし、各チャンクが準備でき次第表示します。

主なハイライト：

• 1つのモデルで任意の構造 — 異なる構造タイプ用の個別ブランチやラベルは不要。プロンプトが構造の種類を指定するだけです。
• 高速 — 数十ステップではなく4ステップ。
• 柔軟なスタイル — 同じ構造を、最初のフレームとプロンプトで設定された多様な視覚スタイルでレンダリングできます。
• ストリーミング — 長いクリップのブロック単位出力。
• オープンベンチマーク — 208の難しいテストケースと53の保留クリップ、スコアリングコードとすべての判定結果付き。

実行方法： Hugging Face のオンラインデモでブラウザから試す（インストール不要）、単一GPUでリファレンスPythonスクリプトを使用、ComfyUI ノードワークフローとして実行（低メモリ版は RTX 4090 などの16 GB GPU に対応）、または Reactor プラットフォームでストリーミングサービスをデプロイ（コミュニティ貢献、4つの B200 GPU で検証済み）できます。

セットアップ： リポジトリをクローンし、依存関係をインストールし、ベースモデルと2つの LoRA 重みファイルをダウンロードし、構造ビデオ、オプションの最初のフレーム、プロンプトを指定してレンダリングスクリプトを実行します。含まれている例はシンセウェーブの高速道路シーンです：セマンティックマップ入力、ネオン出力。

ライセンス： コードは Apache 2.0 です。モデルの重みは MiniMax H3 コミュニティライセンスに従い、地域制限（EU、英国、韓国、米国を除外）と許容使用ポリシーが含まれます。4ステップの LoRA は、同じライセンスの下で別のモデル（DMAD）から微調整されています。

クレジット： SolarRenderer は、ビデオワールドモデル用の SolarWM フレームワーク上に構築されており、MiniMax-H3 と DMAD を基盤として認めています。