OpenAI 半监督知识迁移用于私有训练数据

OpenAI 已经引入了 Private Aggregation of Teacher Ensembles (PATE)，这是一个旨在保护敏感训练数据（例如病历）不被机器学习模型泄露的框架。PATE 通过教师-学生架构将训练数据与最终发布的模型解耦，确保模型不会无意中存储和泄露敏感信息。

私有教师集合聚合（PATE）架构

PATE 采用黑箱方法将多个教师模型的知识迁移到学生模型。过程如下：

1. 教师训练：多个模型（教师）在敏感数据的不相交子集上进行训练。每个教师只能访问特定子集的用户或记录。
2. 噪声投票：为了为学生模型生成标签，教师对给定输入的输出进行投票。在此投票过程中添加噪声，以提供正式的隐私保证。
3. 学生学习：学生模型被训练以预测此噪声投票的输出。学生模型永远不会直接访问单个教师模型、底层敏感训练数据或教师的内部参数。

此架构防止任何单一教师（以及因此任何单一数据集）主导学生的训练，确保最终模型不会记忆任何单个记录的具体细节。

隐私保证和差分隐私

PATE 提供强大的隐私保证，即使对手可以检查学生模型的内部工作原理，这些保证仍然成立。这些保证正式植根于差分隐私框架，该框架确保训练集中任何单个个体数据的存在或缺失不会显著改变学生模型的输出。

技术优势和通用性

与之前的保护隐私的机器学习方法不同，PATE 对教师的训练方式仅施加弱假设。这使得该框架可以应用于任何模型类型，包括诸如深度神经网络（DNNs）之类的非凸模型。

通过将改进的隐私分析与半监督学习相结合，研究人员在 MNIST 和 SVHN 数据集上实现了最先进的隐私/实用性权衡。

隐私影响摘要

特征	PATE 方法
数据访问	学生模型没有直接访问敏感数据的权限
机制	不相交教师集合之间的噪声投票
隐私框架	差分隐私
模型兼容性	与任何模型兼容，包括 DNNs