OpenAI 使用時間段模型進行預測與控制
OpenAI 提出了一種方法，利用在狀態與動作的時間段上運作的深度生成模型來學習複雜非線性系統的動態。與僅在離散時間步上運作的傳統動態模型相比，此方法在隨機系統中能夠提供更穩定且更準確的長期預測。
時間段建模用於系統動態
此方法不僅預測序列中的下一個單一狀態，而是學習在過去狀態、過去動作以及規劃的未來動作軌跡三個主要因素條件下的未來狀態軌跡分布。此外，模型還引入了動作軌跡的潛在先驗，以更好地理解運動與控制的底層模式。
透過將焦點從離散時間步轉移到時間段，該模型能夠更有效地處理真實世界物理系統的複雜性，包括：
- 隨機性：表達預測不確定性的能力。
- 物理干擾：建模碰撞的影響。
- 噪聲：考慮感測噪聲與動作延遲。
技術架構
該系統建構在兩種主要的深度學習架構上：
- 卷積自回歸模型：用於建模狀態與動作的序列。
- 變分自編碼器（VAEs）：用於構建生成過程與潛在先驗。
在控制與優化中的應用
學得的動態模型及其相關的動作先驗是完全可微分的，這使得它們可用於兩項高層次的優化任務：
軌跡優化
該模型支援端到端的完全可微分軌跡優化，使系統能夠計算達到預期目標的最佳狀態與動作路徑。
基於模型的政策優化
該架構用於基於模型的政策優化，以評估並提升學習過程的樣本效率，減少代理學習有效控制政策所需的資料量。
此研究由 Nikhil Mishra、Pieter Abbeel 與 Igor Mordatch 撰寫，展示了朝著使用軌跡的生成建模來解決複雜非線性環境中長期預測與控制挑戰的轉變。