Tencent-Hunyuan/Hy-Nomas

Hy-Nomas: 自由形式のインタラクティブワールド生成

Hy-Nomas は、インタラクティブなビデオワールドを生成するTencentのオープンソースモデルです。テキストプロンプトとカメラの動きで制御し、入力に応答するビデオセグメントを生成します。単一の高性能GPU（RTX 4090など）で動作するように設計されており、ファインチューニングツールとインタラクティブなWebデモが含まれています。

何ができるか？

ビデオワールドの生成: 連続した探索可能なワールドを形成するビデオセグメント（例：5秒クリップ）を作成します。
マルチターン制御: いつでもテキスト指示やカメラの動きを与えることができ、モデルはそれに応じて将来のセグメントを更新します。
自由形式プロンプト: オブジェクト、スタイル、シーン、アクションを自然言語で記述できます。固定テンプレートは不要です。
カメラ制御: カメラの軌道（パン、ズーム、WASDスタイルの移動など）を指定してワールドを探索できます。

主な機能（READMEより）

セグメントベースの生成: モデルはビデオをセグメントごとに生成し、「生涯KVキャッシュ」を使用して以前の内容を記憶します。これにより、セグメント間でワールドの一貫性が保たれます。
蒸留推論: モデルの高速バージョンで、少数の（4〜8）ノイズ除去ステップと専用デコーダのみを使用し、リアルタイム使用に実用的です。
低メモリ推論: 単一のRTX 4090でメモリ使用量を削減して実行できます（INT8重み、CPUオフロードなど）。
LoRAファインチューニング: 小さなアダプター重みをトレーニングしてメインモデルにマージすることで、特定のタスク（映画スタイル、ロボティクスなど）にモデルを適応させることができます。
インタラクティブデモ: 複数ターンにわたって生成を制御し、セグメント境界で結果を確認できるWebインターフェース。

使用方法

セットアップ: 事前パッケージ化されたDockerイメージ（推奨）を使用するか、Python 3.12+、uv、CUDA 13.0で手動インストールします。
モデルアセット: Hugging Face（tencent/Hy-Nomas）からすべての重みをダウンロードします。リポジトリには、異なるチェックポイント（ベース、蒸留、量子化）とアダプター（映画、ロボティクス）が含まれています。
推論: リポジトリのスクリプトを実行するか、Python統合にはDiffusersパイプライン（HyNomasModularPipeline）を使用します。
インタラクティブデモ: ホストされたオンラインデモを使用するか、ReactorランタイムまたはWebデモデプロイメントガイドを使用して独自のデモを実行します。

コミュニティ統合

いくつかのサードパーティプロジェクトがHy-Nomasサポートを追加しています：

SGLang: オフラインビデオジョブとリアルタイムストリーミング用。
ComfyUI: チェーンセグメントとカメラ制御を備えたノードベースのインターフェース。
Reactor Runtime: ライブプロンプト更新とカメラ制御を備えたストリーミングサービス。
WanGP: キーボード探索とテキスト駆動イベントを追加。
Google TPUデモ: TPU上でリアルタイム720p生成を実行。

ファインチューニング

独自のビデオデータでHy-Nomasをファインチューニングできます：

データ準備: 提供されたキャプショニングハーネスを使用してビデオに注釈を付け、エンコードします。
シーケンスのパッキング: 効率的なトレーニングのためのパッキングプランを構築します。
トレーニング: 提供された構成を使用して、非蒸留チェックポイントでLoRAアダプターをトレーニングします。
マージ: トレーニングされたLoRA重みを蒸留チェックポイントにマージして推論します。

ライセンス

Apache 2.0（オープンソース）。

詳細については、READMEを参照してください。