NVIDIA/cosmos
NVIDIA Cosmos is an open platform of world models, datasets, and tools that enables developers to build Physical AI for robots, autonomous vehicles, smart infrastructure, and more.
何を解決するか
NVIDIA Cosmosは、ロボット、自律走行車、スマートインフラストラクチャなどの「物理AI」アプリケーションを構築するための基盤を提供します。世界を理解するだけでなく、シミュレーションし、将来の状態を予測し、現実世界での物理的移動に向けた実行可能なポリシーを生成できるモデルの必要性に対応しています。
動作方法
Cosmos 3は、統合されたMixture-of-Transformersアーキテクチャを使用して、オムニモーダルなワールドモデルを構築します。主に2つの機能面に分かれています：
- Reasoner：テキストとビジョンを入力として受け取り、テキストを出力することで、世界の理解、接地、タスク計画、エンベッドされた推論を可能にします。
- Generator：テキスト、ビジョン、音声、行動を入力として受け取り、ビジョン、音声、行動を出力することで、世界のシミュレーション、合成データ生成、ポリシー学習を可能にします。
対象ユーザー
ロボット工学、自律走行車、物理エージェントのトレーニング用合成データ生成に取り組む開発者向けに設計されています。
主な特徴
- 3段階のモデル階層：高品質な合成データ向けのSuper（64B）、速度と品質のバランスを重視するNano（16B）、リアルタイムのデバイス内デプロイ向けのEdge（4B）を提供。
- オムニモーダル機能：テキスト、ビジョン、音声、物理的行動を含む幅広い入出力を処理可能。
- 物理法則を意識した生成：運動量の伝達や物理的正確性（例：ニュートンのコールド）のレンダリングが可能。
- 行動条件付きワールドモデリング：カメラや手のポーズ入力からのエゴセントリックなロールアウトなどの前向きダイナミクスをサポート。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- Dispatch
- Dispatch