OpenAI 被指控利用用戶對話進行訓練以聲稱技術突破

OpenAI 面臨利用用戶對話進行突破性進展的指控

研究人員指控 OpenAI 利用私密的用戶對話作為訓練數據，以實現技術突破，然後將這些結果呈現為原始發現。爭議的核心在於，OpenAI 可能從與模型互動的學術研究人員那裡「偷走」了證明或解決方案，實際上是利用用戶的知識產權來聲稱突破。

用戶選擇退出與數據洩漏之間的衝突

爭議的一個核心點在於，用戶是否有責任選擇退出訓練，或者 AI 實驗室是否有道德和技術義務來防止訓練集中的數據洩漏。

「選擇退出」論點

一些觀察者認為，用戶應對自己的數據安全負責。在 ChatGPT 中，「為所有人改進模型」的設置是默認啟用的，這允許 OpenAI 使用內容進行訓練。研究人員的批評者認為，如果用戶沒有明確選擇退出此設置，他們實際上就已經同意其數據被用於訓練。

「洩漏」論點

其他專家認為，舉證責任應落在 AI 實驗室身上。他們主張 OpenAI 在聲稱突破之前，應主動檢查是否存在數據洩漏——即特定的、獨特的解決方案或證明被記憶並重新輸出（regurgitation）。

"OpenAI 在面對像這樣重大的突破時，可以且應該檢查其訓練數據是否存在洩漏。適當地引用來源是作者的責任。"

利用用戶數據進行訓練的技術細微差別

並非所有使用用戶數據的方式在風險方面都是平等的。前 OpenAI 研究人員 John Schulman 強調了不同程度的「對話訓練」，每種方式都有不同程度的重新輸出（regurgitation）風險：

• 基於用戶數據的預訓練 (Pretraining on user data)： 使用用戶的 token 作為預測目標。這帶有高度重新輸出（記憶化）原始文本的風險。
• 蒸餾 (Distillation)： 使用用戶提示詞來將大型模型蒸餾成較小型模型。這具有較低的重新輸出風險。
• RL (強化學習) 任務： 使用用戶的軌跡 (traces) 來構建 RL 任務。這通常具有較低的記憶化能力，但根據實現方式的不同，仍可能提取客戶的 IP。

AI 用戶的操作安全 (OpSec) 建議

鑑於數據處理方式缺乏透明度，技術用戶和研究人員建議了幾項「常識性的 OpSec」措施來保護知識產權：

1. 明確選擇退出： 在帳戶數據控制中手動禁用訓練設置。
2. 避免使用反饋按鈕： 使用「讚/倒讚」反饋按鈕通常會觸發對整個對話的收集與保留，以用於訓練目的。
3. 使用臨時對話： 利用 ChatGPT 和 Claude 中提供的「無痕」或臨時對話模式，這些模式旨在被排除在訓練之外。
4. 警惕安全分類器： 一些提供商（例如 Anthropic）可能會保留並對觸發安全分類器的對話進行訓練，即使用戶已經選擇退出了通用訓練。

提議的透明度解決方案

為了化解這些爭議，一些社區成員建議採用標準化的去污染方法。其中一項提議是使用「金絲雀 GUIDs」（類似於 BIG-bench 中使用的那些）以及公開披露 n-gram 閾值（例如 GPT-3 使用的 13-gram 閾值），以證明模型沒有記憶化特定的訓練樣本。