UWMILab/UniWM

Official implementation of paper "Unified World Models: Memory-Augmented Planning and Foresight for Visual Navigation"

何を解決するか

UniWMは、視覚的予測（何が起こるかを想像すること）と行動計画の整合性を確保する課題に取り組んでいます。モジュール型フレームワークを置き換える統合アプローチにより、ロボットの意思決定が視覚的に想像された結果に直接根ざしていることを保証します。

動作方法

UniWMは、視覚的予測と計画を統合するために、単一のマルチモーダル自己回帰バックボーンを使用しています。短期的な知覚的手がかりと長期的な軌道コンテキストを組み合わせる階層的メモリ機構を採用しており、拡張されたナビゲーション範囲にわたって安定した一貫性のある推論を可能にしています。

対象ユーザー

本プロジェクトは、エンボディドAI、自律ナビゲーション、ロボティクス用ワールドモデルの研究開発に従事する研究者や開発者向けに設計されています。

主な特徴

  • 統合的な予測と計画を実現するマルチモーダル自己回帰バックボーン。
  • 短期的・長期的コンテキストのバランスを取る階層的メモリ機構。
  • 視覚的に想像された結果に基づく根拠のある行動決定。
  • Hugging Faceにホストされたデータセットを含み、複数のナビゲーションスプリット（例：go_stanford, scand, sacson, recon）を提供。

関連

  • プロジェクト
    galilai-group/stable-worldmodel

    データ収集、モデル訓練、モデル予測制御評価のための統合インターフェースを提供する、再現可能な世界モデル研究と評価のためのプラットフォームです。

  • プロジェクト
    OpenDCAI/OpenWorldLib

    高度な世界モデルのための統一されたコードベースとフレームワーク。ビデオ生成、3Dシーン生成、および視覚-動作推理のための様々なオープンソース研究を統合しています。

  • プロジェクト
    Ma-Zhuang/OmniNWM

    OmniNWMは、自律走行シミュレーション用のパノラマ型マルチモーダルワールドモデルを構築する研究用コードベースです。車両の軌道からRGB、セマンティック、深度、3次元占有グリッドを一括生成し、正規化Plückerレイマップで正確な制御を実現。占有に基づく密な報酬によりクローズドループポリシー評価が可能。リポジトリには、transformersの手動パッチを含むインストール手順、nuScenes用データ準備手順、事前学習済みチェックポイントのダウンロードリンク、推論・分布外テスト・段階的学習用スクリプトが含まれます。

  • Dispatch
    Qwen Robot Suite：ナビゲーション、マニピュレーション、そして世界モデリングのための統一基盤モデル

    QwenはQwen‑Robot Suiteを発表しました――ナビゲーション、マニピュレーション、世界予測のアクションに言語を変換する3つの基盤モデル（RobotNav、RobotManip、RobotWorld）で、数十のロボット具現化にわたる統一されたエージェントロボティクスを実現します。

  • プロジェクト
    boundless-large-model/boundless-world-model

    BWMは、ロボット操作タスクのための高忠実度なシミュレータとして機能する、物理的に一貫性のある動作条件付きビデオ世界モデルです。