OpenAI 반지도식 지식 전송을 위한 개인 훈련 데이터
OpenAI는 교사 앙상블의 개인 정보 보호 집계 (PATE)를 도입했습니다. 이는 의료 기록과 같은 민감한 훈련 데이터가 머신 러닝 모델을 통해 유출되는 것을 보호하기 위해 설계된 프레임워크입니다. PATE는 교사-학생 아키텍처를 통해 훈련 데이터를 최종 게시된 모델로부터 분리함으로써 모델이 의도치 않게 민감한 정보를 저장하고 드러내는 것을 방지합니다.
교사 앙상블의 개인 정보 보호 집계 (PATE) 아키텍처
PATE는 블랙박스 접근 방식을 사용하여 여러 교사 모델에서 학생 모델로 지식을 전송합니다. 프로세스는 다음과 같이 작동합니다:
- 교사 훈련: 민감한 데이터의 서로 다른 하위 집합에 여러 모델(교사)이 훈련됩니다. 각 교사는 특정 사용자 또는 레코드 하위 집합에만 접근할 수 있습니다.
- 노이즈 투표: 학생 모델의 레이블을 생성하기 위해, 교사들은 주어진 입력에 대한 출력에 투표합니다. 이 투표 과정에 노이즈를 추가하여 형식적인 개인 정보 보장을 제공합니다.
- 학생 학습: 학생 모델은 이 노이즈 투표의 출력을 예측하도록 훈련됩니다. 학생 모델은 개별 교사 모델, 기저의 민감한 훈련 데이터, 또는 교사의 내부 매개변수에 직접 접근하지 않습니다.
이 아키텍처는 어떤 단일 교사(그리고 따라서 어떤 단일 데이터 세트)도 학생의 훈련을 지배하지 못하도록 방지하여, 최종 모델이 어떤 개별 레코드의 특정 세부 사항을 기억하지 못하도록 보장합니다.
개인 정보 보장 및 차별적 개인 정보
PATE는 적대자가 학생 모델의 내부 작동을 검사할 수 있더라도 유지되는 강력한 개인 정보 보장을 제공합니다. 이러한 보장은 차별적 개인 정보 프레임워크에正式하게 기반을 두고 있으며, 이는 훈련 세트에 어떤 개인의 데이터가 존재하거나 존재하지 않더라도 학생 모델의 출력을 크게 변경하지 않음을 보장합니다.
기술적 장점과 범용성
이전 개인 정보 보호 머신 러닝 방법과 달리, PATE는 교사가 어떻게 훈련되는지에 대해 오직 약한 가정만을 부과합니다.これにより 프레임워크는 Deep Neural Networks (DNNs)와 같은 비볼록 모델을 포함한任何 모델 유형에 적용할 수 있습니다. 개선된 개인 정보 분석과 반지도식 학습을 결합하여, 연구자들은 MNIST 및 SVHN 데이터셋에서 최첨단 개인 정보/유용성 트레이드오프를 달성했습니다.
개인 정보 영향 요약
| 특징 | PATE 접근 방식 |
|---|---|
| 데이터 접근 | 학생 모델은 민감한 데이터에 직접 접근할 수 없습니다 |
| 메커니즘 | 서로 다른 교사 앙상블 간의 노이즈 투표 |
| 개인 정보 프레임워크 | 차별적 개인 정보 |
| 모델 호환성 | DNNs를 포함한 어떤 모델과도 호환됩니다 |