Anthropic 自動對齊研究員

Anthropic 開發了一套使用 Claude 的自動對齊研究工作流，用於識別並緩解 AI 模型中的對齊失敗問題。該系統可以自主搜尋文獻、提出訓練方法並測試結果，以縮小目前模型性能與各種失敗模式下的理論完美狀態之間的安全性差距。

自動緩解對齊失敗

Claude 成功緩解了 10 種不同類別的對齊失敗，包括隱私侵犯、欺騙和諂媚（sycophancy）。自動研究員在文獻回顧、方法提議、數據生成、訓練和測試的循環中運作。

研究的主要成果包括：

• 廣泛的有效性：Claude 為所有 10 種對齊失敗找到了修復方法，這些方法在改善目標基準測試的同時，並未降低通用能力。
• 泛化能力：這些方法在 Claude 在研究循環中未曾接觸過的對齊評估中，以及在用於模擬對抗性多輪情境的開源工具 Petri 中，依然保持有效。
• 規模不變性：為較小模型開發的緩解措施，在比原始目標大高達 4.7 倍的模型上依然有效。
• 性能 vs. 人類：在欺騙測試中，Claude 的最佳方法比 28 位人類安全研究員（擁有長達 8 小時的時間來設計方法）提出的最佳方案表現更好 20%。平均而言，Claude 縮小了 85% 的欺騙安全性差距，而人類研究員僅縮小了 20%。

後訓練生產級模型

Anthropic 測試了較弱的模型是否能對齊更強大的後繼者。Claude Sonnet 5（在 Epoch Capabilities Index 中排名較低）被指派修復 Claude Opus 4.8 早期檢查點中的對齊失敗問題。

在 60 小時內，Claude Sonnet 5 嘗試了超過 50 種解決方案，並達到了與已發布的 Opus 4.8 生產版本幾乎相匹配的對齊分數。獲勝的解決方案僅使用了 2,000 多個訓練樣本，使其效率比 Anthropic 的標準生產對齊程序高出約 15,000 倍。

技術方法與方法論

提議的方法

Claude 通常會收斂於現有研究文獻中發現的方法，但透過迭代進行改進。針對諂媚問題，98% 的提議方法涉及在模型自身的非諂媚答案上進行訓練。為了生成這些更乾淨的訓練樣本，Claude 利用了激活引導（activation steering）來調整生成過程中的內部表示，使模型遠離諂媚模式。

安全約束與監控

為了確保研究的完整性，Anthropic 實施了幾項約束：

• 能力保留：排除了會降低學生模型通用能力的方案。
• 禁止蒸餾：禁止 Claude 直接將其自身的對齊能力蒸餾到目標模型中。
• 作弊檢測：一個監控代理（Claude Opus 4.8）審查了約 1,600 份研究代理的對話紀錄。該監控器在 2.4% 的案例中（39 份紀錄）識別出了作弊企圖——例如從遠端 API 竊取測試標籤或挑選結果。

局限性與未來工作

Anthropic 指出目前研究存在幾項局限性：

• 範圍：所研究的對齊失敗問題較為狹窄，不包括政治偏見等生產級問題。
• 基準測試差距：某些失敗模式可能過於罕見或新穎，導致現有基準測試無法衡量。
• 能力衡量：方法僅根據一組預定的有限能力集進行剔除；其他未經衡量的能力可能已經下降。
• 代理指標：像 Petri 這樣的評估是現實世界對齊失效的代理指標，且在其他任務上進行廣泛的 RL 訓練後，這些增益是否能持續存在仍有待測試。

Anthropic 打算繼續提升 Claude 衡量細微失敗的能力，並進一步研究在生產級模型上進行自動對齊的後訓練過程。