OpenAI ロバストな敵対的入力の研究

OpenAI は、スケールや視点に関わらずニューラルネットワーク分類器を確実にだます画像を開発しました。この研究は、実際の画像撮影で使われる一般的な変換に対して敵対的例を頑健に設計できることを示しており、自動運転車などのシステムが複数の角度とスケールで画像を撮影することによって inherently 保護されているという主張に挑戦しています。

スケール不変の敵対的例

頑健な敵対的例は、分類前に入力画像をランダムにリサイズする確率的分類器のアンサンブルを最適化することで作成されます。この手法は、投影勾配降下法を用いて、画像（たとえば猫の画像）に小さな摂動を見つけ出し、望む幅広いスケール範囲で同時に分類器をだますことができます。

変換不変の敵対的例

敵対的例は、訓練時の摂動にランダムな回転、平行移動、スケール、ノイズ、平均シフトを組み込むことにより、広範な変換分布に対して不変にすることができます。

これらの変換がテスト時にランダムにサンプリングされた場合、その結果得られる単一の入力はどの条件下でも敵対的であり続けます。これは、能動的な取り組みによって物理世界に転移し、さまざまな視点に固有の画像変換にもかかわらず効果を維持する敵対的例を生成できることを確認しています。