microsoft/LatentSpatialMemory
Latent Spatial Memory for Video World Models
解決する課題
このプロジェクトは、明示的な 3D キャッシュに依存するビデオワールドモデルの非効率性と不整合性を解決します。従来の手法では、シーンコンテンツの RGB レンダリングと再エンコードを繰り返す必要があることが多く、計算コストが高くメモリを大量に消費します。
仕組み
Latent Spatial Memory は、永続的な 3D シーンコンテンツを RGB 画像ではなく、直接潜在トークンとして保存します。初期観測から永続的な潜在キャッシュを構築し、生成される各ビデオチャンクに対して、ターゲットビューのメモリを読み取り、ノイズ除去プロセス中にそれを使用し、更新された静的シーンコンテンツをキャッシュに書き戻します。
対象者
ビデオワールドモデル、3D シーン生成、およびビデオ合成における効率的な空間的一貫性に取り組む研究者や開発者。
ハイライト
- 潜在メモリ: 永続的な 3D シーンコンテキストを潜在空間で直接維持します。
- RGBの迂回なし: 繰り返しのレンダリングと再エンコードのサイクルの必要性を排除します。
- メモリライフサイクル: 生成されたチャンク間で初期化、読み取り、ノイズ除去、更新の完全なサイクルを実装します。
- 効率性: 顕著に高速な生成速度（10.57倍）と大幅に低い 3D キャッシュメモリ使用量（55倍低減）を実現します。
関連
- プロジェクト
microsoft/World-R1World-R1 は、ベースモデルのアーキテクチャを変更せずに生成された動画を 3D 制約と整合させることで、テキストから動画への生成における 3D 幾何学的一貫性を向上させる強化学習フレームワークです。
- プロジェクト
ZiYang-xie/WorldGenWorldGen は、テキストプロンプトや画像から数秒で没入型 3D シーンを生成するツールで、Gaussian Splatting とメッシュ出力の両方をサポートし、VR、ゲーム、シミュレーションに利用できます。
- プロジェクト
Vchitect/Latte高品質な動画生成を実現する潜在拡散Transformerで、テキストから動画およびテキストから画像の両方のタスクをサポートします。
- プロジェクト
TencentCloud/TencentDB-Agent-MemoryTencentDB Agent Memoryは、LLMエージェント向けのオープンソースのメモリハブです。会話をキャプチャし、再利用可能なスキルを抽出し、ドキュメントからWikiを構築し、コードをCodeGraphにインデックス化します。中央UI（Memory Hub）により、チームは資産を管理し、きめ細かなACLを設定し、特定のメモリ断片を個々のエージェントにバインドできます。エージェントは統一されたプロキシと通信するため、あらゆるフレームワーク（Claude Code、DeepSeek Harness、OpenClawなど）がコード変更なしで同じメモリを使用できます。ベンチマークでは、ペルソナ保持率が59%向上しました。リポジトリには、ワンクリックのDockerデプロイメント、移行ツール、ゼロ構成のコールドスタートやその他の統合に向けたロードマップが用意されています。
- プロジェクト
Robbyant/lingbot-mapLingBot‑Mapは、ストリーミング動画からリアルタイムで3Dポイントクラウドを再構成するフィードフォワードトランスフォーマーであり、ページ化KVキャッシュ（FlashInfer）とオプションのスカイマスキングを活用。インタラクティブおよびオフラインデモスクリプト、事前学習済みチェックポイントを提供し、ウィンドウ化推論により非常に長いシーケンスをサポート。