nvidia-cosmos/cosmos-transfer2.5

何を解決するか

Cosmos-Transfer2.5 は、物理的AIのための高精細で多様なトレーニングデータを生成する課題に対処します。完全に正確な3Dシミュレーションの必要性を減らし、"シミュレーション2リアル"（Sim2Real）および"リアル2リアル"のデータ拡張を可能にすることで、開発者が合成データや既存のリアル世界の動画を、自律車両やロボットのトレーニングに適した多様で現実的なシナリオに変換できるようにします。

動作方法

マルチコントロールネットアーキテクチャであり、RGB、深度、セグメンテーション、視覚的ブラーなど、複数の動画モダリティにおける構造的入力を受け取ります。JSONベースの構成仕様を使用することで、ユーザーはこれらの構造的制御に基づいて動画の生成プロセスをガイドでき、単一動画の推論、自動コントロールマップ生成、マルチGPU設定をサポートします。

対象ユーザー

このツールは、自律車両（AV）、ロボット、動画分析AIエージェントの開発者向けに設計されており、トレーニングデータセットにおける世界状態の多様性を拡大したい開発者に適しています。

主な特徴

• マルチモダリティ制御：深度、エッジ、セグメンテーション、ブラー制御をサポートし、動画生成を高精度で制御可能。
• Sim2Real および Real2Real：シミュレーションデータを現実的な画像に変換するか、リアルセンサーのデータを拡張可能。
• 専用モデルファミリー：汎用2Bモデル、自律車両用の専用チェックポイント（Auto Multiview）、ロボットマルチビュー制御モデルを含む。
• エッジデプロイ：低レイテンシ推論を実現するための蒸留されたチェックポイントを提供。
• 拡張生成：長時間の動画作成に対応する自己回帰スライディングウィンドウモードを搭載。