SkyworkAI/Matrix-Game

Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory

解決する課題

Matrix-Game は、高品質で長期的なビデオとインタラクティブな環境を生成できるインタラクティブワールドモデルを作成することを目的としています。メモリメカニズムを通じて、時間の経過とともに一貫性を維持するストリーミングでリアルタイムなインタラクティブワールドを作成するという課題に取り組みます。

仕組み

このプロジェクトは、進化する一連のモデルで構成されています：

Matrix-Game-1.0 は、ワールドモデルシリーズの最初のオープンソースリリースです。
Matrix-Game-2.0 は、インタラクティブワールド基盤モデルとして、リアルタイムの長尺ビデオ生成に焦点を当てています。
Matrix-Game-3.0 は、リアルタイムインタラクションをサポートするために、長期的なメモリを備えたストリーミングインタラクティブワールドモデルを導入します。

対象者

ワールドモデル、生成ビデオ、インタラクティブAI環境に取り組む研究者や開発者向けです。

ハイライト

リアルタイムインタラクション：インタラクティブワールドのストリーミングおよびリアルタイム生成をサポートします。
長期的なメモリ：Matrix-Game-3.0 には、長いシーケンスにわたって一貫性を維持するためのメモリ機能が含まれています。
基盤モデルアプローチ：インタラクティブで長尺のビデオコンテンツを生成するための基盤を提供します。

関連

プロジェクト
TNTwise/REAL-Video-Enhancer
複数の GPU バックエンドをサポートし、さまざまな専門的なモデルを搭載した、AI ベースの動画フレーム補間および拡大に対応するクロスプラットフォーム GUI アプリケーション。
プロジェクト
AIMixer/ComfyUI_MiniMaxH3_Director
ComfyUI向けのプロフェッショナルなディレクターズコンソール。ビジュアルタイムラインとマルチセグメント管理により、MiniMax H3モデルを使用した長尺動画生成を効率化します。
プロジェクト
feitangyuan/onetake
onetake は、Claude 互換の AI スキルで、ワンテイクの製品ローンチまたはデモ動画を生成します。UI を HTML で再構築し、測定されたモーションプリミティブのライブラリを使用し、リアルなモーションブラーとルームベースのサウンドを追加し、オラクルで連続性を自動スコアリングします。git clone でインストール可能で、Python、Node、およびオプションの Whisper/TTS によるナレーションに対応しています。非商用利用は無料です。商用利用には有料の Pro ライセンスが必要です。
プロジェクト
majidmanzarpour/threejs-game-skills
CodexおよびClaude Code用のスキルパックで、AIエージェントが完全なThree.jsブラウザゲームの構築、仕上げ、検証を可能にします。`npx skills add …`（または提供された`install.sh`）でインストール後、自然言語リクエスト（例：「未来志向のタワーデンスゲームを作成」）で`threejs-game-director`をプロンプトします。ディレクターは、ゲームプレイ、AAAグラフィックス、UI、アセット生成（オプションのTripo/Gemini/ElevenLabs API）、デバッグ、QAの専門サブスキルを調整し、バンドルされたVite+TypeScriptスケルトンとPlaywrightベースのテストハーネスを使用します。デモにはNeon Ridge Drift、Snooker Arena、Starship Dogfightなどがあります。MITライセンス。