EternalEvan/Astra

解決的問題

Astra 解決了建立對特定動作輸入做出反應的逼真、長期影片預測的挑戰。它旨在為模擬各種現實世界場景（如自動駕駛、機器人操作和相機運動）中的未來影片序列提供一種可控且時間一致的方法。

工作原理

Astra 是一個構建在具有時間因果注意力機制之上的自回歸擴散 Transformer 之上的互動式世界模型。它透過基於歷史和動作訊號預測未來幀來實現串流預測。為了保持穩定性與控制力，它採用了三個關鍵技術組件：

• Noise-augmented history memory: 穩定長影片 Rollouts 的生成。
• Action-aware adapter: 確保控制訊號的精確整合。
• Mixture of action experts: 將不同類型的動作模態路由到適當的處理路徑。

適用對象

致力於自動系統、機器人技術及 AI 驅動影片生成的研發人員，他們需要高保真、以動作為條件的模擬器來預測未來的視覺狀態。

亮點

• 動作驅動控制：支援各種動作輸入（例如：特定的相機軌跡，如 S 形或旋轉）來引導影片生成。
• 長期 Rollouts：專為串流預測設計，在長序列中具有強大的時間一致性。
• 廣泛的應用範圍：適用於自動駕駛、無人機導航和機器人操作。
• 高效推理：可以在單個 24GB GPU（例如 NVIDIA 3090）上執行。