OpenAI OT-GAN: 最適輸送を用いたGANの改善

OpenAIはOptimal Transport GAN（OT-GAN）を導入しました。これは、生成器分布とデータ分布間の新しい距離指標を最小化するように設計された生成的敵対ネットワークのバリアントです。この手法は、特に大規模なミニバッチを使用する際のトレーニング安定性を向上させ、複数の画像生成ベンチマーク課題で最先端の結果を達成しています。

ミニバッチエネルギー距離指標

OT-GANはミニバッチエネルギー距離と呼ばれる指標を利用します。この距離関数は高い識別能力を持ち、トレーニング中にバイアスのないミニバッチ勾配を提供するよう設計されています。これは、以下の2つの主要な技術要素を組み合わせることで実現されます。

• プライマル形の最適輸送: この指標は、分布間の距離を測定するために最適輸送の原理を組み込んでいます。
• 敵対的に学習された特徴空間: エネルギー距離は、敵対的に学習された特徴空間内で定義され、モデルが実データと生成データをよりよく区別できるようにします。

トレーニングの安定性と性能

OT-GANは、従来のGANアーキテクチャに比べて安定性と性能が大幅に向上することを示しています。研究者らは、標準的な生成的敵対ネットワークでは課題となる大規模ミニバッチでのトレーニングにおいて、OT-GANが非常に安定していることを発見しました。

著者のアブストラクトによれば、このアーキテクチャの結果は「バイアスのないミニバッチ勾配を持つ高度に識別的な距離関数」であると述べられています。

画像生成への示唆

ミニバッチエネルギー距離指標を適用することで、OT-GANは画像生成の人気ベンチマーク課題で最先端の結果を達成しています。これは、ミニバッチエネルギー距離アプローチが、従来のGAN損失関数よりも生成器の分布と目標データ分布を整合させるより効果的な方法を提供することを示唆しています。