DALL·E 2 事前学習における緩和策

OpenAIは、DALL·E 2の事前学習中に有害コンテンツを削減し、人口統計的バイアスの増幅を防止し、トレーニング画像の逐語的再現を排除するために適用された技術的緩和策を詳細に説明しています。

アクティブラーニングによる有害コンテンツの削減

OpenAIは、トレーニングデータセットから暴力的および性的コンテンツをフィルタリングするために設計された分類器を改善するために、反復的なアクティブラーニングプロセスを使用しました。このプロセスは、偽陽性の削減と偽陰性の削減という二つの主要な目標に焦点を当てました。

偽陽性の削減

良性画像が有害と誤分類される頻度を最小限に抑えるため、OpenAIは現在のモデルが陽性と分類した画像に対して人間がラベル付けを行いました。分類閾値はほぼ100%の再現率になるように調整されましたが、偽陽性率は高く設定され、人間のラベラーが主に真に陰性のケースに遭遇し、修正できるようにしました。

偽陰性の削減

有害な画像でモデルが見逃しているものを見つけるため、OpenAIは最近傍探索を利用しました。このプロセスは以下を含みます：

多層交差検証を実行し、ラベル付けされたデータセット内でモデルが頻繁に陰性と誤分類する陽性サンプルを特定する。
大規模な未ラベル画像コレクションを走査し、これらの誤分類サンプルの知覚特徴空間内で最近傍を探す。
発見された画像に対して人間がラベル付けを行う。

データフィルタリングによるバイアス増幅の緩和

トレーニングデータをフィルタリングすると明示的なコンテンツは減少しますが、意図せずバイアスを作り出したり増幅したりすることがあります。OpenAIは、フィルタリングされたモデルがフィルタリングされていないモデルよりもバイアスが強くなることを観測しました。例えば、プロンプト「a ceo」では、フィルタリングされたモデルはほぼ男性のみの画像を生成し、フィルタリングされていないモデルはより多くの女性画像を生成しました。

バイアス増幅の原因

OpenAIは、この増幅が以下の理由で起こると仮定しています：

元のデータセットでは女性がより性的に描写されることが多く、フィルタが男性よりも多くの女性画像を除去する。
分類器自体が実装やクラス定義に起因するバイアスを持つ可能性がある。

フィルタによるバイアスの測定

この影響を定量化するため、OpenAIはデータセットのマルチモーダル性を利用し、キャプション中のキーワード頻度を測定しました。Apache Sparkを使用して、フィルタリング済みデータセットと未フィルタリングデータセット間でキーワード（例：「woman」「man」）の頻度を比較しました。その結果、例えば「woman」の頻度は14%減少し、「man」は6%減少にとどまりました。

データセットの重み付け

フィルタリングされたモデルが未フィルタリングモデルよりもバイアスが強くなるのを防ぐため、OpenAIはフィルタリングデータセットの分布を未フィルタリングデータセットに合わせる重み付けスキームを実装しました。

分類器の訓練: 小さな CLIP モデルの上に線形プローブを訓練し、画像が未フィルタリングデータセットに属する確率 $P(\text{unfiltered}|\text{image})$ を予測させた。
重み計算: 各画像に対し、比率 $P(\text{unfiltered}|\text{image}) / P(\text{filtered}|\text{image})$ に基づく重みを割り当てた。
適用: この重みを画像の訓練損失に適用し、過小表現されたサンプルの繰り返しをエミュレートした。

ファインチューニング後、"man" と "woman" の相対頻度減少はそれぞれ 14% と 6% から -1% と 1% に変化しました。

画像の再現（レギュリゲーション）の排除

OpenAIは、DALL·E 2 の前身がトレーニング画像を逐語的に再現する問題を特定しました。特に、単純なベクターグラフィックで訓練セットに多数の近似重複がある場合に顕著です。この「レギュリゲーション」は著作権やプライバシーの懸念を引き起こす可能性があります。

クラスタリングによる重複除去

これを排除するため、OpenAIはデータセットの重複除去を行いました。数億枚の画像ペアすべてを比較する計算コストを回避するため、クラスタリング手法を使用しました：

クラスタリング: データセットをクラスタに分割し、各クラスタ内でのみ重複除去を実施した。
複数のクラスタリング: 重複ペアがクラスタ境界を越える可能性に対応するため、5 つの異なるランダムクラスタリングを使用した。この方法はテストサブセットで全重複ペアの 97% を検出した。

パフォーマンスとレギュリゲーションへの影響

データセットの約 25% を削除したにもかかわらず、人間評価者は重複除去データで訓練されたモデルをわずかに好む傾向があり、冗長な画像がパフォーマンスを阻害していたことが示唆されました。

重複除去後、トレーニングデータセットから 50,000 件のプロンプトを検索した結果、モデルは画像を一度もレギュリゲーションせず、たとえ画像に対応する正確なプロンプトが与えられても再現しませんでした。