OpenAI 與未發表數學研究的倫理問題

衝突點：大型語言模型時代的知識產權

研究人員正對前沿 AI 實驗室（特別是 OpenAI）是否能被信任處理未發表的數學研究提出嚴重的疑慮。爭議的核心在於：為了腦力激盪或驗證而與 AI 分享的專有想法，是否存在被納入訓練集或被內部團隊用於搶先發表學術突破的風險。

這場辯論因數學家 Andreas Thom 的發言而再次升溫，他詳細描述了與 OpenAI 就發現一個非索菲克群（non-sofic group）進行的交流。Thom 指出，在與 ChatGPT 討論擴展圖匹配問題（expander matching problem）及其相關擴展後，OpenAI 宣布了一項與其研究成果相似的發現。當被質詢時，OpenAI 的代表提供了 Thom 所描述的「斷然否認」，聲稱對話並未影響結果，但隨後的聲明卻暗示「源自 [使用者] 使用情況的去識別化數據」可能幫助了模型的改進。

「退出機制」的悖論與數據攝取

一個關鍵的爭議點是隱私開關和退出（opt-out）設置的有效性。雖然使用者可以禁用「為所有人改進模型」的設置，但社群強調了幾個技術和程序上的漏洞：

時間差： 退出訓練通常僅適用於「新」的對話。在退出之前分享的數據仍保留在訓練語料庫中。
隱含回饋： 即使在一般的訓練退出設置下，點擊回覆上的「讚/倒讚」或選擇偏好的輸出等行為，也可能觸發數據攝取。
去識別化： OpenAI 已表示，無法排除使用去識別化數據的可能性。批評者認為，在如進階數學這類信噪比極高的狹窄領域中，「去識別化」一個獨特的證明或新穎的方法並不會移除該想法的知識價值，這實際上讓模型能夠在聲稱未訪問特定使用者數據的情況下，「搶先」研究人員的成果。
後端激活： 有人認為，模型激活（model activations）——即由提示詞觸發的內部數學表示——可以被映射並用於改進模型的潛在表示，而無需在技術上將原始文本作為「訓練數據」。

學術歸屬權的「洗錢」

除了訓練的技術細節外，還有一個更廣泛的倫理疑慮，即資訊的「洗錢」。如果一個模型是在研究人員 A 的未發表作品上訓練的，然後研究人員 B（或 OpenAI 內部團隊）使用該模型解決了一個問題，那麼研究人員 A 的原始貢獻就會被剝奪歸屬權。

"OpenAI，作為中間人，將資訊從 B 洗錢給 A，剝奪了歸屬權。A 在甚至不知情的情況下搶先發表了 B 的成果！"

這創造了一種情境，即 AI 公司充當了知識竊取的無意（或有意）管道，模型的輸出被呈現為 AI 或其開發者的突破，而非未發表的人類輸入之綜合結果。

反對觀點：暴力破解 vs. 直覺

一些觀察者認為，對於數學家「種植」AI 直覺的懷疑可能被高估了。他們認為，AI 目前的發展軌跡——特別是在數學這類可驗證領域中使用大規模運算力和強化學習（RL）——使得模型能夠獨立發現超人類的技術。

在這種情況下，論點是：數學是一個完全可驗證的領域，適合進行自我對弈（self-play）。一個擁有充足運算力的搜索代理（search agent）可以透過啟發式暴力破解和強化學習，潛動解決千禧年大獎難題（例如 Navier-Stokes 方程的存在性與光滑性問題），從而使任何特定的使用者提示詞與最終的突破無關。

研究人員的風險總結

對於在科學前沿工作的學術界人士和研究人員，批評者目前的共識是：應假設缺乏完全的隱私。建議的防護措施包括：

本地 LLM： 在個人硬體上運行推理，以確保數據永不離開本地環境。
商業帳戶： 使用企業級方案，其服務條款明確禁止使用使用者數據進行訓練。
嚴格的數據衛生： 將任何發送給雲端 LLM 的提示詞視為公開資訊，無論最新的隱私隱私設置如何。