OpenAI 半監督式知識傳遞用於私密訓練資料
OpenAI 已提出 Private Aggregation of Teacher Ensembles (PATE)，一個旨在保護敏感訓練資料（例如病史）不被機器學習模型洩漏的框架。PATE 確保模型不會無意間儲存並洩露敏感資訊，透過老師-學生架構將訓練資料與最終發布的模型解耦。
Private Aggregation of Teacher Ensembles (PATE) 架構
PATE 使用黑箱方法將多個教師模型的知識傳遞給學生模型。該過程如下：
- 教師訓練：多個模型（教師）在敏感資料的不相交子集上進行訓練。每個教師只能存取特定子集的使用者或記錄。
- 帶噪投票：為了為學生模型生成標籤，教師會對給定輸入的輸出進行投票。在此投票過程中加入噪聲，以提供正式的隱私保證。
- 學生學習：學生模型會被訓練以預測此帶噪投票的輸出。學生模型永不會直接存取個別教師模型、底層敏感訓練資料或教師的內部參數。
此架構防止任何單一教師（因此也防止任何單一資料集）主導學生的訓練，確保最終模型不會記住任何個別記錄的具體細節。
隱私保證與差分隱私
PATE 提供強大的隱私保證，即使對手可以檢查學生模型的內部運作，這些保證仍然成立。這些保證正式建基於差分隱私框架，該框架確保任何單個個體的資料在訓練集中的存在或缺失不會顯著改變學生模型的輸出。
技術優勢與多樣性
與先前的保護隱私機器學習方法不同，PATE 對教師的訓練方式只施加弱假設。這使得該框架適用於任何模型類型，包括非凸模型，例如深度神經網路（DNNs）。
透過結合改進的隱私分析與半監督式學習，研究人員在 MNIST 和 SVHN 資料集上達成了最先進的隱私/效用權衡。
隱私影響摘要
| 特徵 | PATE 方法 |
|---|---|
| 資料存取 | 學生模型沒有直接存取敏感資料 |
| 機制 | 不相交教師集合之間的帶噪投票 |
| 隱私框架 | 差分隱私 |
| 模型相容性 | 與任何模型相容，包括 DNNs |