OpenAI 与未发表数学研究的伦理问题

冲突：大语言模型时代的知识产权

研究人员正对前沿 AI 实验室（特别是 OpenAI）是否可以被信任处理未发表的数学研究提出严重质疑。争议的核心在于：为了头脑风暴或验证而与 AI 分享的专有想法，存在被摄入训练集或被内部团队用于抢占学术突破的风险。

这场辩论由数学家 Andreas Thom 再次点燃，他详细描述了与 OpenAI 就发现一个非索菲克群（non-sofic group）进行的交流。Thom 指出，在与 ChatGPT 讨论了扩展图匹配问题（expander matching problem）及其相关扩展后，OpenAI 宣布了一项与其工作高度相似的发现。在受到质疑时，OpenAI 的代表提供了 Thom 所描述的“断然否认”，称对话并未影响结果，但随后的声明却暗示“源自 [用户] 使用情况的去标识化数据”可能有助于改进模型。

“退出机制”悖论与数据摄入

一个关键的争论点是隐私开关和退出设置的有效性。虽然用户可以禁用“为所有人改进模型”的设置，但社区强调了几个技术和程序上的漏洞：

时间差： 退出训练通常仅适用于新对话。在退出之前共享的数据仍保留在训练语料库中。
隐性反馈： 即使在通用的训练退出设置中，点击响应上的“点赞/点踩”或选择首选输出等操作也可能触发数据摄入。
去标识化： OpenAI 已表示，它无法排除使用去标识化数据的情况。批评者认为，在高级数学等窄领域、高信噪比的领域中，“去标识化”一个独特的证明或一种新颖的方法并不能消除该想法的智力价值，这实际上允许模型在声称未访问特定用户数据的情况下，“抢占”研究人员的工作。
后端激活： 有人认为，模型激活（由提示词触发的内部数学表示）可以被映射并用于改进模型的潜在表示，而无需在技术上将原始文本作为“训练数据”。

学术归属的“洗白”

除了训练的技术细节外，还存在一个关于信息“洗白”的更广泛伦理担忧。如果一个模型是在研究人员 A 的未发表工作上训练的，然后研究人员 B（或 OpenAI 内部团队）使用该模型解决了一个问题，那么研究人员 A 的原始贡献就会被剥夺归属权。

"OpenAI，作为一个中间人，将信息从 B 洗白到了 A，剥夺了归属权。A 在甚至不知情的情况下抢占了 B 的成果！"

这创造了一种场景，即 AI 公司充当了智力窃取的无意（或有意）渠道，模型的输出被呈现为 AI 或其开发者的突破，而不是对未发表的人类输入进行的综合。

反方观点：暴力破解 vs. 直觉

一些观察者认为，数学家们怀疑 AI 拥有“播种”直觉的疑虑被高估了。他们认为，AI 当前的发展轨迹——特别是通过在数学等可验证领域使用大规模计算和强化学习（RL）——允许模型独立地发现超人类的技术。

在这种情况下，论点是，数学是一个完全可验证的领域，适用于自我博弈（self-play）。一个拥有足够计算能力的搜索代理可以潜在地通过启发式暴力破解和强化学习解决千禧年大奖难题（例如 Navier-Stokes 方程的存在性与光滑性问题），从而使任何特定的用户提示词与最终的突破无关。

研究人员面临的风险总结

对于在科学前沿工作的学者和研究人员，批评者目前的共识是：假设缺乏完全的隐私。建议的防护措施包括：

本地 LLM： 在个人硬件上运行推理，以确保数据永远不会离开本地环境。
企业级账户： 使用服务条款明确禁止使用用户数据进行训练的企业层级。
严格的数据卫生习惯： 无论最新的隐私设置如何，都要将发送给云端 LLM 的任何提示词视为公开信息。