EternalEvan/Astra

解決する課題

Astraは、特定の操作入力に反応する、現実的で長期間のビデオ予測を作成するという課題に対処します。自動運転、ロボット操作、カメラの動きなど、多様な実世界のシナリオにおいて、将来のビデオシーケンスをシミュレートするための、制御可能で時間的に一貫した方法を提供することを目指しています。

仕組み

Astraは、時間的因果アテンションを備えた自己回帰的拡散トランスフォーマー上に構築されたインタラクティブな世界モデルです。履歴とアクション信号に基づいて将来のフレームを予測することで、ストリーミング予測を可能にします。安定性と制御を維持するために、以下の3つの主要な技術コンポーネントを採用しています：

• Noise-augmented history memory: 長時間のビデオロールアウトの生成を安定化させます。
• Action-aware adapter: 制御信号の正確な統合を保証します。
• Mixture of action experts: さまざまな種類の操作モダリティを適切な処理パスにルーティングします。

対象者

将来の視覚状態を予測するために、高忠実度のアクション条件付きシミュレータを必要とする、自動システム、ロボット工学、およびAI駆動のビデオ生成に取り組む研究者や開発者。

ハイライト

• アクション駆動の制御: ビデオ生成をガイドするために、さまざまなアクション入力（例：S字型や回転などの特定のカメラ軌道）をサポートします。
• 長期間のロールアウト: 拡張されたシーケンスにわたって強力な時間的一貫性を持つ、ストリーミング予測向けに設計されています。
• 幅広い適用範囲: 自動運転、ドローンナビゲーション、ロボット操作に適用可能です。
• 効率的な推論: 単一の24GB GPU（例：NVIDIA 3090）で実行可能です。