jamichss/Stream-DiffVSR

Stream‑DiffVSR – 低遅延・ストリーミング可能なビデオ超解像

機能 – Stream‑DiffVSR は、オンラインで動作する拡散ベースのビデオ超解像 (VSR) システムです。過去のフレームのみを参照するため、ライブビデオストリームで使用できます。モデルは、蒸留された 4 ステップのデノイザー、動きの手がかりを整列する自己回帰的時間ガイダンス (ARTG) ブロック、および時間処理モジュール (TPM) を備えた軽量な時間デコーダーを実行し、詳細と時間的一貫性を維持します。

重要性 – 従来の拡散 VSR は、将来のフレームと多くのデノイジングステップを必要とし、遅延が数秒から数分に及びます。Stream‑DiffVSR は、RTX 4090 上で約 0.33 秒で 720p フレームを処理し、以前のオンライン最先端 (TMP) よりも >130 倍高速です。これにより、拡散品質の VSR が、ビデオ通話、ストリーミング、ライブ放送などのリアルタイムまたは低遅延アプリケーションで実現可能になります。

主要コンポーネント

• 4 ステップ蒸留デノイザー – 通常の 20〜30 の拡散ステップをわずか 4 つに削減し、推論時間を短縮します。
• 自己回帰的時間ガイダンス (ARTG) – 現在の潜在変数をデノイズしながら、以前のフレームから動き整列された情報を注入します。
• 時間処理モジュール (TPM) – 空間詳細を洗練し、フレーム間の一貫性を強制する時間認識デコーダーの一部です。

はじめに

1. クローンとセットアップ – git clone https://github.com/jamichss/Stream-DiffVSR.git を実行し、requirements.yml（または RTX 固有の requirements-cu12.txt）から conda 環境を作成します。
2. 推論の実行 – CLI inference.py は、Hugging Face から事前学習済みモデルを自動的に取得します：

   python inference.py \
       --model_id Jamichsu/Stream-DiffVSR \
       --in_path  /path/to/low‑res/frames \
       --out_path /path/to/high‑res/output \
       --num_inference_steps 4
   

   入力は、各サブディレクトリに順序付けられた PNG フレームのリストを含むフォルダである必要があります。
3. オプションの速度向上 – --enable_tensorrt（出力の高さ/幅を指定する必要があります）を追加して、TensorRT エンジンをコンパイルします。これにより、わずかな品質低下と引き換えにスループットが向上します。
4. Gradio UI – requirements-app.txt をインストールし、python app.py を起動して、ビデオからフレームを抽出し、モデルを実行し、元のオーディオ付きでアップスケールされたビデオを再組み立てする Web UI を取得します。
5. Docker – すぐに実行できるイメージが提供されています。docker build -t stream-diffvsr-gradio . でビルドし、GPU アクセスで実行します。

トレーニング – リポジトリには、著者のトレーニングパイプラインを再現するスクリプトも含まれています：

• ステージ 1：ロールアウト蒸留を使用した UNet トレーニング。
• ステージ 2：時間デコーダー内で TPM をトレーニング。
• ステージ 3：UNet と TPM を凍結しながら ARTG をトレーニング。

トレーニングは REDS および Vimeo‑90K データセットを使用します（パスは dataset/config_*.yaml で設定）。UNet は StableVSR の重みから初期化され、時間デコーダーの重みは TAESD‑X4 から取得され、両方とも自動的にダウンロードされます。

モデルの場所 – 事前学習済みの重みは、Hugging Face の Jamichsu/Stream-DiffVSR でホストされています。推論スクリプトはそれらをオンザフライで取得するため、手動ダウンロードは不要です。

引用 – コードまたはモデルを使用する場合は、arXiv 論文 (arXiv:2512.23709) を引用してください。

---

上記のすべての情報は、リポジトリの README から直接取得されています。