OpenAI 半教師あり知識転移によるプライベート トレーニング データ
OpenAI は、Private Aggregation of Teacher Ensembles (PATE) を導入しました。これは、機械学習モデルを通じて漏洩する可能性のある、医療記録などのセンシティブなトレーニング データを保護するために設計されたフレームワークです。PATE は、教師-学生アーキテクチャを通じてトレーニング データと最終的な公開モデルを切り離すことにより、モデルがセンシティブな情報を意図せずに保存または漏洩することを防ぎます。
Private Aggregation of Teacher Ensembles (PATE) アーキテクチャ
PATE は、ブラックボックス アプローチを使用して、複数の教師モデルから学生モデルへ知識を転移します。プロセスは次のように機能します:
- 教師のトレーニング: 複数のモデル（教師）は、センシティブなデータの互いに重複しないサブセットで訓練されます。各教師は、特定のユーザーまたはレコードのサブセットのみにアクセスできます。
- ノイズ付き投票: 学生モデルのラベルを生成するために、教師は与えられた入力の出力に対して投票します。この投票プロセスにノイズを追加し、形式的なプライバシー保証を提供します。
- 学生の学習: 学生モデルは、このノイズ付き投票の出力を予測するように訓練されます。学生モデルは、個々の教師モデル、基盤となるセンシティブなトレーニング データ、または教師の内部パラメータに直接アクセスすることはありません。
このアーキテクチャにより、単一の教師（したがって単一のデータセット）が学生のトレーニングを支配することを防ぎ、最終モデルが任意の個々のレコードの具体的な詳細を記憶しないことを保証します。
プライバシー保証と微分プライバシー
PATE は、敵対者が学生モデルの内部動作を検査できる場合でも成り立つ強いプライバシー保証を提供します。これらの保証は、トレーニング セットに任意の単一個人のデータの存在または不在が学生モデルの出力を有意に変更しないことを保証する微分プライバシーのフレームワークに正式に基づいています。
技術的利点と汎用性
以前のプライバシー保存機械学習手法とは異なり、PATE は教師の訓練方法に対してのみ弱い仮定を課します。これにより、フレームワークは Deep Neural Networks (DNNs) などの非凸モデルを含む任意のモデルタイプに適用可能になります。
改善されたプライバシー分析と半教師あり学習を組み合わせることにより、研究者は MNIST と SVHN データセットにおいて最先端のプライバシー/ユーティリティ トレードオフを達成しました。
プライバシーへの影響のサマリー
| Feature | PATE Approach |
|---|---|
| データ アクセス | 学生モデルはセンシティブなデータに直接アクセスできません |
| メカニズム | 互いに重複しない教師アンサンブル間のノイズ付き投票 |
| プライバシー フレームワーク | 微分プライバシー |
| モデルの互換性 | DNNs を含む任意のモデルと互換性があります |