gracezhao1997/Awesome-Video-World-Models-with-AR-Diffusion

これは何か

これは、特定のタイプのAIビデオモデルに関する厳選された研究論文とリソースのリストです：自己回帰拡散（AR拡散）で構築されたビデオワールドモデル。これらのモデルは、ビデオをチャンクごとに生成し（自己回帰）、各チャンクは拡散（ノイズを徐々に画像やビデオに変換するプロセス）を使用して生成されます。このリポジトリは、この分野の研究者、開発者、愛好家のための包括的で構造化されたガイドを目指しています。

カバーする内容

リストは3つの主要な次元で構成されています：

• アルゴリズムの基礎 – そのようなモデルを訓練し、高速化し、より長いビデオを生成する方法。
• 実世界のアプリケーション – オープンソースのビデオ基盤モデル、インタラクティブなアクション条件付きモデル、アバター、自己中心的なインタラクション、および具現化AI/自動運転での使用。
• インフラストラクチャレベルの高速化 – スパースアテンション、キャッシング、量子化アテンション、投機的デコーディングなどの技術で、これらのモデルを効率的に実行します。

主な特徴

• 構造化された分類法：論文は明確なカテゴリにグループ化され（目次を参照）、多くのアプローチをナビゲートするのに役立ちます。
• ワンストップ引用コレクション：単一のBibTeXファイル（video-world-models.bib）にすべての論文がリストされているため、LaTeXやZoteroにワンクリックでインポートできます。
• 毎週の更新：メンテナーは毎週リストを更新して最新の状態に保ちます。
• コミュニティ貢献：メンテナーは不足している論文を追加するためのプルリクエストを明示的に歓迎し、より良い分類や統合などの高レベルの貢献も受け入れます。

新しいハイライト：minWM

最近の追加はminWMです – 双方向テキストからビデオへのモデルをアクション条件付きビデオワールドモデルに変換する方法を示すフルスタックのオープンソースフレームワークで、サンプルデータ、スクリプト、ドキュメントが含まれています。また、技術レポートとHugging Face上の事前学習モデルもあります。

メンテナンスと連絡先

リポジトリはMin Zhao、Hongzhou Zhu、Wenqiang Sun、Bokai Yanによってメンテナンスされています。READMEには彼らの連絡先が記載されており、質問や提案があれば連絡するよう求めています。

このリポジトリの使い方

• 研究ガイドとして：カテゴリを閲覧して、ビデオワールドモデリングにおけるAR拡散の主要な方法を発見します。
• 引用ツールとして：論文用のBibTeXファイルを取得します。
• 学習リソースとして：含まれている論文とコード/ウェブサイトへのリンクにより、実装とプロジェクトページに直接アクセスできます。