simchowitzlabpublic/nano-world-model

何を解決するか

Nano World Model は、動画ワールドモデルの学習に向けたミニマルなオープンソースフレームワークを提供します。拡散強制に基づく未来の動画フレーム予測に必要な透明性とアクセス性を備えたコードベースを実現し、ロボット工学やゲーム開発における環境シミュレーションを可能にします。

動作方法

このプロジェクトは、拡散強制アプローチを用いた動画ワールドモデルを実装しています。Hydraベースの設定システムにより、一貫したパイプラインで学習、検証、評価を管理します。モデルは自己回帰的な長期間のロールアウトを実行でき、過去のフレームとアクションの注入に基づいて次のフレームを予測します。これらのロールアウトは、3D点群再構成やModel Predictive Control (MPC)計画などの下流タスクに活用できます。

対象ユーザー

ロボット工学、コンピュータビジョン、AI分野の研究者や開発者向けです。巨大で不透明なコードベースの複雑さを避け、動画ワールドモデルの実装、評価、拡張を容易にしたい方におすすめです。

特徴

• ミニマルデザイン: NanoGPTにインスパイアされ、科学的透明性を重視したクリーンなコードベースを追求しています。
• 統合パイプライン: 設定の上書きが簡単な、学習と評価ワークフローの統合。
• 多様なデータセット対応: DINO-WM、RT-1、CSGOデータセットの即時利用可能な統合。
• 実用的応用: 長期間生成、動画から3Dマッピング、CEMベースの計画機能を内蔵。