OpenAI 對 AGI 及未來的規劃

OpenAI 正在採取逐步部署與迭代學習的策略，以安全地引領通用人工智慧（AGI）的誕生。此做法旨在避免突如其來的轉變衝擊，讓政策制定者、機構與大眾能夠適應強大 AI 所帶來的經濟與社會變化。

逐步部署與迭代學習

OpenAI 主張以漸進的方式過渡到 AGI，而非突發式的轉變。這種逐步的做法為社會提供了必要的時間，以了解 AI 的益處與弊端、調整經濟，並制定適當的法規。

• 快速回饋迴路：OpenAI 認為，應對部署挑戰（如偏見與工作取代）的最佳方式是透過快速學習與謹慎迭代的緊密回饋迴路。
• 民主化存取：該組織透過 API 與開源推廣更廣泛的 AI 使用，以去中心化權力，並鼓勵更廣大的貢獻者提出新想法。
• 基於風險的謹慎：隨著系統接近 AGI，OpenAI 正提升其謹慎程度。組織假設 AGI 及其後繼系統的風險可能是生存性的。
• 部署門檻：OpenAI 表示，若不利因素（如助長惡意行為者或加速不安全競賽）占上風，可能會大幅調整其持續部署計畫。

對齊與可操控性

OpenAI 專注於打造日益對齊且可操控的模型，並以從原始 GPT-3 轉向 InstructGPT 與 ChatGPT 為早期範例。

為確保安全與控制，OpenAI 正在實施以下措施：

• 使用者裁量與界限：雖然組織尋求全球對 AI 使用的寬廣界限達成共識，但仍打算在此界限內賦予使用者相當的裁量權。產品可能會有受限的「預設設定」，但使用者仍能調整 AI 行為。
• 先進對齊技術：OpenAI 計畫利用 AI 協助人類評估複雜的模型輸出並在短期內監控系統，最終再利用 AI 開發新的對齊技術。
• 安全與能力的共同演化：OpenAI 主張 AI 安全與能力並非對立的二元論，而是相互關聯，因為最佳的安全工作往往源自於使用最強大的模型。然而，組織強調安全進展與能力進展的比例必須提升。

治理與全球協調

OpenAI 致力於促進全球對 AI 系統治理、利益公平分配與存取公平共享的對話。

為使激勵與正向結果相符，OpenAI 已實施多項結構性措施：

• 章程承諾：OpenAI 章程中的一條款承諾組織協助其他以安全為焦點的機構，而非競相推進後期 AGI 開發。
• 回報上限：對股東的回報設有上限，以防止追求無限價值的動機，進而降低部署災難性危險系統的風險。
• 非營利治理：OpenAI 由非營利組織治理，使其能將人類福祉置於營利利益之上，亦包括因安全考量而取消對股東的股權義務的可能性。

獨立監督與公共標準

OpenAI 支持在新系統發布前進行獨立審計。組織認為在未來系統的訓練開始前可能需要獨立審查，且先進的努力可能需要同意限制新模型計算資源增長的速率。

提議的公共標準包括：

• 停止訓練的標準：規範何時 AGI 項目應停止一次訓練執行。
• 發布安全：決定模型何時安全可發布的標準。
• 生產撤回：規範何時應將模型從生產使用中撤回的標準。
• 政府洞察：認為主要世界政府應對超過特定規模的訓練執行具備洞察力。

通往超智慧的道路

OpenAI 將 AGI 視為智慧連續體上的一個點。若以目前速度持續前進，世界可能會發生劇變，且與錯誤對齊的超智慧 AGI 或擁有決定性超智慧領先的獨裁政權相關的風險將極為驚人。

特別關注能加速科學的 AI，因其可能導致「快速起飛」，即 AGI 加速自身進展。OpenAI 主張較慢的起飛較易確保安全，且在關鍵時刻協調各 AGI 項目放緩步伐，對於讓社會有足夠時間適應至關重要。