Chinese CLIP: 中国語における対照的なビジョン・言語事前学習

QwenはChinese CLIPを導入しました。これは、中国語に特化したビジョンとテキストのギャップを埋めることを目的とした対照的なビジョン・言語事前学習モデルです。このモデルは、機械翻訳や多言語CLIPバリアントに依存する既存のマルチモーダルモデルの限界に対処します。これらのモデルは中国固有の文化概念やネイティブデータ分布にうまく対応できないことが多いです。

言語固有のCLIPが必要な理由

標準的なCLIPモデルやその多言語版は、中国文化や社会的風景のニュアンスを捉えることができないことがよくあります。Qwenは既存のアプローチにおける主な失敗点を二つ特定しています：

  • Translation Degradation: 中国語テキストに機械翻訳を組み合わせて元のCLIPを使用すると、ネイティブな中国語事前学習に比べてパフォーマンスが大幅に低下します。
  • Cultural Bias: mCLIPのような多言語モデルは中国固有の概念を理解するのに苦労し、しばしば西洋文化に関連する項目を取得してしまい、ネイティブな中国語コンテキストを反映しません。

二段階事前学習手法

CLIPの能力を中国語に効率的に転移させるため、Qwenはスクラッチからの学習ではなく、二段階の事前学習手法を採用しています。研究者らはこれをよりコスト効果の高いアプローチと述べています。

ステージ1: 言語エンコーダのチューニング

最初のステージでは、モデルは二つのタワーを初期化します：元のCLIPからのビジョンエンコーダ（例: ViT-B や ResNet）と、中国語用RoBERTa（RoBERTA-wwm-Chinese）を言語エンコーダとして使用します。ビジョンエンコーダは凍結され、言語エンコーダは対照的にチューニングされ、CLIPビジョンエンコーダの出力空間に表現をマッピングします。

ステージ2: 共同ファインチューニング

第二のステージでは、ビジョンエンコーダの凍結が解除されます。ビジョンエンコーダと言語エンコーダは共に対照的にチューニングされます。これにより、ビジョンエンコーダは中国語データに見られる画像分布に適応し、地域の文化的価値や視覚的特徴を捉えることができます。

学習データとモデルバリエーション

このモデルは約2億枚の画像-テキストペアで事前学習されました。再現性を確保するため、チームは主に公開データセットを使用しました。含まれるものは以下です：

  • LAION-5B の中国語（"zh"）部分
  • Wukong データセット
  • MSCOCO と Visual Genome からの翻訳データ

Qwenは、異なる性能と効率のニーズに対応するため、5つのモデルバリエーションをリリースしました：

  • ResNet-50
  • ViT-B/16
  • ViT-L/14
  • ViT-L/14 @336px
  • ViT-H/14

パフォーマンスとベンチマーク

Chinese CLIPは、特に中国語ネイティブデータセットにおいて、複数の検索および分類タスクで優れた性能を示します。

クロスモーダル検索

3つのデータセット（MUGE（中国語ネイティブデータセット）、Flickr30K-CN、COCO-CN（英語ネイティブデータセット））で実験が行われました。Chinese CLIPは全てのデータセットで従来の最高モデルを上回り、特にMUGEデータセットで最も大きな性能差が見られ、中国語ネイティブデータを扱う強力な能力を示しています。

ゼロショット画像分類

手動で翻訳されたラベルとプロンプトを用いたELEVATERベンチマークを使用した結果、Chinese CLIPは競争力のある性能を達成し、英語ネイティブのベンチマークでもその有効性を示しました。

アブレーション結果

アブレーション研究により、二段階事前学習手法がスクラッチからの学習よりもはるかに効果的であること、そして第二段階のチューニングがクロスモーダル検索性能をさらに向上させることが確認されました。

今後の方向性

Chinese CLIPは検索と分類に有効であるものの、研究者はそのビジョン基盤モデルとしての役割をさらに検証したいと考えています。今後の研究では、中国語マルチモーダルおよびビジョン表現学習のための専用ベンチマーク構築に焦点を当てます。

Sources