CLIP: テキストと画像を接続する

OpenAIは、自然言語の監督を通じて視覚的概念を学習するニューラルネットワークであるCLIP (Contrastive Language–Image Pre-training) を発表しました。インターネット上で見つかる膨大な種類の画像とテキストのペアを用いて学習することで、CLIPはタスク固有の学習データを必要とせずに、幅広い視覚的分類タスクを実行でき、GPT-2やGPT-3に見られるような「ゼロショット」能力を効果的に実現しています。

標準的なコンピュータビジョンの限界を解決する

CLIPは、従来のディープラーニングによるコンピュータビジョンへのアプローチにおける3つの主要な失敗に対処します：

高コストなデータセットの削減: 従来のモデルは、手動でラベル付けされたデータセット（1,400万枚の画像を注釈付けするために25,000人の作業員を必要としたImageNetなど）に依存しており、これらは高価で範囲も限定的です。代わりに、CLIPはインターネットから公開されているテキストと画像のペアを利用します。
柔軟性の向上: 標準的なモデルは、通常、学習に使用された特定のカテゴリに制限されます。標準的なモデルを新しいタスクに適応させるには、実務家は新しいデータセットを構築し、モデルをファインチューニングする必要があります。CLIPは、テキストエンコーダーに視覚的概念の名前を提供するだけで、ほぼすべての視覚的分類タスクに適応させることができます。
堅牢性のギャップを埋める: ベンチマークにおけるモデルの性能と、現実世界の「ワイルド」な環境での展開における性能の間には、しばしば大きなギャップが生じます。OpenAIは、モデルがベンチマークに特化して最適化することで「ズル」をしているために、このようなことが起こると推測しています。CLIPは、特定のデータで学習することなくベンチマークで評価されるため、その性能は現実世界の有用性をよりよく表しています。テストにおいて、CLIPはImageNetのゼロショットにおいて元のResNet-50の性能に匹敵しながら、この堅牢性のギャップを最大75%まで縮小させました。

技術的アプローチと学習効率

CLIPは、プロキシタスクを用いて学習されます：画像が与えられたとき、モデルはランダムにサンプリングされた32,768個のテキストスニペットのうち、どれが実際にその画像とペアになっているかを予測しなければなりません。これにより、モデルは幅広い視覚的概念を学習し、それらを自然言語の名前と関連付けることを強制されます。

学習計算量を最適化するために、OpenAIは2つの主要なアルゴリズム的選択を行いました：

Contrastive Objective: CLIPは、テキストと画像を接続するために、対照学習の目的関数を使用します。小規模から中規模の実験において、これは画像からテキストへのアプローチよりも、ゼロショットImageNet分類において4倍から10倍効率的であることがわかりました。
Vision Transformer (ViT): Vision Transformerの採用により、標準的なResNetよりも計算効率がさらに3倍向上しました。

その結果、最高の性能を示すCLIPモデルは、256個の GPUs を用いて2週間学習されました。

能力と汎化性能

CLIPは、OCR、ビデオにおけるアクション認識、地理的ローカライゼーション、および詳細な物体分類など、30種類以上の異なるデータセットにわたって高い柔軟性を示しています。線形プローブを用いた表現学習の評価において、最高のCLIPモデルは、26種類の異なる転移データセットのうち20種類においてNoisy Student EfficientNet-L2を上回りました。

限界と課題

その汎用的な能力にもかかわらず、CLIPは特定の弱点を持っています：

抽象的および体系的なタスク: CLIPは、画像内の物体の数え上げや、空間的関係（例：写真の中の車がどれくらい近いか）の予測に苦戦しており、その性能はランダムな推測よりもわずかに高い程度です。
詳細な分類: モデルは、特定の航空機のバリエーション、花の種類、または車のモデルなど、非常に似たカテゴリを区別する際、タスク固有のモデルよりも効果が低くなります。
分布外データ (Out-of-Distribution Data): CLIPは、学習前のトレーニングに含まれていない画像に対して、汎化性能が低くなります。例えば、MNISTデータセットの筆記体数字の精度は88%であり、人間の精度である99.75%と比較して大幅に低くなっています。
プロンプトの感度: ゼロショット分類器は、特定の言い回しに敏感である可能性があり、最適な性能を得るために「プロンプトエンジニアリング」が必要になることがあります。

広範な影響とバイアス\n

CLIPは、ユーザーがタスク固有のデータなしで独自の分類器を設計できるため、ラベルの選択がバイアスを導入したり増幅したりする可能性があります。OpenAIは、人種ラベルを含むラベルセットが与えられたとき、「criminal」や「animal」といった極端な用語が含まれている場合、0〜20歳の層を極端なカテゴリに分類する割合が約32.3%に達することがわかりました。ラベルに「child」というクラスを追加することで、この割合は〜8.7%に減少しました。

プライバシーと監視に関する点では、CLIPは、100個の候補から選択する場合の「in the wild」な有名人の画像分類において、Top-1精度が59.2%を達成し、1,000個の候補から選択する場合のTop-1精度は43.3%でした。OpenAIは、これがタスクに依存しない事前学習によって可能であるものの、堅牢な製品レベルの有名人識別モデルとは競合するレベルではないと述べています。}