OpenAI 與 Google Brain：AI 安全的具體問題

研究人員來自 OpenAI、Google Brain、伯克利與斯坦福，聯合撰寫了一篇題為「AI 安全的具體問題」的論文，指出了五個關鍵技術領域，需要改進現代機器學習系統以確保其如預期般運作。此框架提供了一套具體的研究問題，將 AI 安全從理論關注轉向實證的技術挑戰。

強化學習中的安全探索

強化學習（RL）代理必須能在不執行災難性行動的情況下學習其環境。主要挑戰在於讓代理能探索周圍以收集資料與進行學習過程，同時不致造成永久或不可逆的損害。例如，負責在環境中導航的 RL 代理必須學會完成任務而永遠不會跌落懸崖。

對分佈轉移的魯棒性

機器學習系統必須對資料分佈的變化具備魯棒性，或至少能優雅失效。關鍵目標是防止系統在遇到與訓練集不同的資料時，仍自信地給出錯誤預測。例如，建構影像分類器時，應能在面對新類型的圖像時表達適當的不確定性，而不是自信地套用不適用的已學模型。

避免負面副作用

AI 系統應能在不對環境造成不良影響的前提下達成目標。其目的是改變 RL 代理的獎勵函數，使其避免有害行為，而不需要開發者為每一種可能的負面結果手動編寫獨立的懲罰。例如，搬運物體的機器人應能避免碰倒或破壞物品，而不必事先列出所有可能易碎的物件清單。

防止獎勵駭客與自我刺激

必須防止 AI 代理「玩弄」其獎勵函數，以不符合實際目標的方式最大化獎勵。這包括避免代理扭曲自身觀測以獲得高分獎勵的行為。舉例而言，若一個 RL 代理被訓練來減少建築內的髒污表面，安全的系統不應該避免尋找髒污或是製造新髒污僅為了提升獎勵。

可擴展的監督

可擴展的監督針對在人類回饋昂貴或稀少的情況下提供目標回饋的問題。挑戰在於即使訓練依賴於目標的廉價近似，也要確保代理能達成符合使用者實際偏好的目標。當這些廉價近似（例如可見的髒污）與使用者真正關心的事物之間存在顯著差異時，就會產生事故風險。