OpenAIの研究: 堅牢な分類における計算上の限界

TL;DR

OpenAIは、堅牢な分類器が存在するものの、学習することが計算上不可能である分類タスクが存在することを示しました。この発見は、堅牢な分類の困難さと暗号プリミティブの存在との間の関連性を確立し、堅牢な分類器を学習できるか、あるいは新しい暗号プリミティブを構築できるかという「ウィン・ウィン」のシナリオを生み出します。

堅牢な分類における計算上の困難さ

堅牢な分類とは、入力への小さな摂動（perturbation）にもかかわらず正確さを維持する分類器の学習を指します。Bubeck、Lee、Price、Razenshteynによる以前の研究に続き、OpenAIの研究者たちは統計的および計算的なトレードオフの研究を拡張しました。彼らは、小さな摂動の領域において効率的な堅牢な分類器が存在し、非堅牢な分類器は効率的に学習できるものの、大きな数の因数分解の困難さを仮定すると、堅牢な分類器の学習は計算上困難なままである特定の分類タスクを特定しました。

平均的ケースにおける困難な関数による不可能な堅牢な分類

OpenAIは、計算能力に制限のない堅牢な分類器が存在する場合でさえ、計算効率の高い堅牢な分類が不可能である分類タスクを示しました。研究者たちは、これらの特定のタスクにおいて、いかなる効率的なアルゴリズムも堅牢な分類器を学習できないことを証明するために、平均的ケースにおける困難な関数の存在に依拠しています。

大きな摂動の領域における困難さ

この研究は、摂動が大きい場合でも堅牢に学習することが困難なタスクを特定しています。これらのシナリオでは、大きな摂動に対して堅牢な効率的な分類器が存在しますが、いかなる非自明な堅牢な分類器も学習することは計算上困難です。

OpenAIは、この困難さを証明するために主に2つの構成法を利用しています。

One-Way Functions: 最初の構成法は、一方向関数の存在に依拠しています。
Learning Parity with Noise: 2番目の構成法は、「learning parity with noise」問題の困難さに依拠しています。この特定の状況では、多項式個の訓練例から新しいラベル付きサンプルを生成できる効率的なアルゴリズムが存在しますが、それでも堅牢な分類器を効率的に学習することはできません。

暗号学のための「ウィン・ウィン」のシナリオ

この研究は、効率的な堅牢な分類に対するいかなる反例も、一方向関数のような暗号プリミティブの存在を意味することであると結論付けています。これは、理論的な「ウィン・ウィン」のシナリオを生み出します。つまり、研究者がそのようなすべてのタスクに対して効率的な堅牢な分類器を学習する方法を見つけられるか、あるいは、これらの学習困難なタスクの存在が暗号プリミティブの存在を証明することになるかのどちらかです。