教導神經網路玩貪食蛇：探索瀏覽器內的 PPO 訓練

經典的貪食蛇遊戲長期以來一直是簡單 AI 代理人的基準測試。然而，從硬編碼的啟發式方法轉向深度強化學習的跨越，往往隱藏在複雜的設置和沉重的計算需求之後。tinyppo-snake 正是一個在瀏覽器內的實驗，它將神經網路的訓練過程公開化，讓使用者能夠即時視覺化學習曲線。

透過利用 WebGPU，該專案展示了如何直接在網頁瀏覽器中實作並執行近端策略優化 (PPO)——一種複雜的強化學習演算法。這將訓練過程從黑箱操作轉變為互動式的視覺體驗。

tinyppo-snake 的機制

tinyppo-snake 的核心是 PPO 訓練的展示。PPO 被廣泛認為是最穩定且高效的強化學習演算法之一，因為它能防止策略在單次更新中發生過於劇烈的變化，從而避免了在較簡單的策略梯度方法中常見的「災難性遺忘」。

該應用程式為使用者提供了全面的監控工具：

訓練指標： 即時追蹤過去 500 個回合的平均分數、最高分數以及 Rollout 速度。
權重視覺化： 一個 3D 渲染器，允許使用者在訓練過程中檢查神經網路的權重（例如 fc1_pi.weight 和 fc1_v.weight）如何演進。
策略 Roll-outs： 切換訓練代理人與觀察已訓練策略實際運作的能力。

來自早期使用者的社群回饋突顯了強化學習中常見的幾個有趣現象。一位使用者 @beardsciences 指出了性能平台期：

我的平均分數最終達到了大約 3900，然後停滯在 3600-3900 之間。

這種停滯是 RL 代理人的典型特徵，即代理人找到了局部最佳解 (local optimum)——一種足以生存但缺乏向完美解決方案收斂的策略。

更令人好奇的是關於「災難性崩潰」的報告。使用者 @ldoughty 觀察到，在達到接近 4,000 的最高分數後，代理人的性能驟降至零：

就在快要接近 4,000 時，它似乎自我毀損了，不再獲得任何超過 0 的分數。

這種行為說明了神經網路訓練的波動性。即使有 PPO 的穩定機制，一系列「錯誤」的更新偶爾也會將策略推向一種代理人實際上「忘記」如何玩遊戲的狀態，這種現象可作為 AI 訓練脆弱性的實務教訓。

由於該專案依賴於 WebGPU，因此它僅限於支援該 API 的現代瀏覽器和作業系統。在較不常見的平台（例如 NetBSD）上的使用者回報了 WebGPU 的可用性問題，突顯了目前網頁硬體加速能力的碎片化。

此外，一些使用者注意到切換視圖時的性能下降。例如，@simedw 觀察到，從訓練視圖切換到「觀察」視圖並切換回來時，會導致訓練分數的暫時性下降。這表明渲染視覺化圖表的開銷可能會影響訓練迴圈的效率或更新的時機。

tinyppo-snake el 不僅僅是一個遊戲；它是觀察學習代理人權重與偏置 (weights and biases) 的透明窗口。透過將訓練過程移至用戶端，它提供了一種易於取得的方式來探索 PPO 的動態、局部最佳解的挑戰，以及神經網路崩潰時偶於發生的混亂。