OpenAI 教師–學生課程學習
OpenAI 推出了教師–學生課程學習（TSCL），這是一個旨在自動化為複雜任務建立訓練課程的框架。透過使用「教師」演算法動態選擇「學生」模型的子任務，TSCL 使代理能解決那些無法透過直接訓練或均勻抽樣學習的問題。
TSCL 框架
教師–學生課程學習透過將複雜任務拆分為一組可用的子任務來運作。該框架由兩個主要組件構成：
- The Student: 嘗試學習複雜目標任務的模型。
- The Teacher: 一種自動選擇在任何時刻學生應該訓練的子任務的演算法。
教師演算法邏輯
TSCL 中的教師演算法受到兩個主要直覺的指導，以優化學習過程：
- Maximizing Progress: 教師優先選擇學生進步最快的子任務，該點被辨識為學習曲線斜率最高的時刻。
- Preventing Forgetting: 為了解決災難性遺忘的問題，教師也會選擇學生表現正在下降的子任務。
實驗結果與效能
OpenAI 展示了 TSCL 在兩項不同任務中的效能：使用長短期記憶（LSTM）網路進行十進位數字加法，以及在 Minecraft 中的導航。
Minecraft 導航
在 Minecraft 迷宮導航中，TSCL 相較於基線訓練方法展現了顯著優勢：
- Solving Unsolvable Tasks: 自動生成的課程使模型能解決在直接以最終目標訓練時根本無法解決的 Minecraft 迷宮。
- Training Efficiency: 學習速度比使用子任務均勻抽樣時快了數個量級。
十進位加法
在十進位數字加法任務中，TSCL 的表現與精心手工設計的課程相當或更佳，證明自動化系統可以取代手動課程設計的需求。
對自動課程學習的啟示
TSCL 證明，自動課程學習透過根據即時績效指標動態調整訓練資料的難度與焦點，能超越手動設計。透過在追求快速進步與維持先前學習技能之間取得平衡，該框架提供了一種可擴展的方法，以在複雜的多階段任務上訓練模型。