OFA: オールインワンモデルの構築に向けて

OFA（One-For-All）は、異なるモダリティ間の理解タスクと生成タスクを単一のフレームワークに統合するよう設計された統合マルチモーダル事前学習モデルです。指示ベースのマルチタスク事前学習を活用することで、OFAはタスクごとにアーキテクチャを変更することなく、多様な入力と出力を処理できる汎用モデルの構築を目指しています。

モダリティ、アーキテクチャ、タスクの統一フレームワーク

OFAは、モダリティに依存しないこと、タスクに依存しないこと、そしてタスクの包括性という3つの統一の柱に焦点を当てることで、汎用的な能力を実現します。

モダリティの統一

多様な入力に対応するため、OFAはテキスト以外のモダリティをトークンに離散化します。画像はVQ（ベクトル量子化）トークンで表現され、バウンディングボックスはpix2seq手法に従ってビンに離散化されます。これにより、モデルはすべてのモダリティをトークン列として扱うことができます。

アーキテクチャの統一

OFAはT5モデルに類似した汎用Transformerエンコーダーデコーダーアーキテクチャを採用しています。画像入力を処理するために、モデルはResNetの最初の3ブロックを使用します。トレーニングの安定性と転移性能を向上させるため、アーキテクチャにはNormformerが組み込まれています。

タスクの統一

OFAは指示ベースのマルチタスク学習アプローチで事前学習されます。モデルは8つの異なるタスクで訓練されます：

  • Vision-Language Tasks (5): ビジュアルグラウンディング、グラウンドキャプショニング、視覚質問応答（VQA）、画像テキストマッチング、画像キャプショニング。
  • Vision Tasks (2): 検出、画像インフィリング。
  • Language Task (1): テキストインフィリング。

指示はテキスト記述として挿入され、モデルがタスクを区別できるようにします。これにより、新しい指示に基づく未見タスクに対するゼロショット生成が可能になります。

モデルのバリエーションとスケール

OFAは、さまざまなデプロイや研究ニーズに対応するため、5つの異なるサイズで提供されています：

  • OFA-Tiny: 3300万パラメータ
  • OFA-Medium: 9300万パラメータ
  • OFA-Base: 1億8000万パラメータ
  • OFA-Large: 4億7000万パラメータ
  • OFA-Huge: 9億3000万パラメータ

パフォーマンスと実験結果

OFAは、マルチモーダルおよび単一モーダルのベンチマークで競争力のある性能を示し、しばしば専門モデルと同等またはそれ以上の結果を出します。

マルチモーダル能力

  • Vision-Language Understanding: OFA-Hugeモデルは、VQAおよびSNLI-VEにおいてFlamingo（800億パラメータ）やCoCa（20億パラメータ）に匹敵する性能を達成し、視覚的含意推論では最高性能を記録します。
  • Vision-Language Generation: OFAは、クロスエントロピーとCIDEr最適化の両方で画像キャプショニングにおいて最先端（SoTA）の性能を達成します。視覚的グラウンディングでは、ベースサイズのモデルが従来のSoTAを上回り、性能はモデルサイズとともに一貫して向上します。
  • Text-to-Image Generation: 画像インフィリングの事前学習により、OFAは画像コードを生成でき、低いFIDスコアを達成します。さらに大規模データセットでのファインチューニングにより性能が向上します。

単一モーダル能力

  • Natural Language Understanding (NLU): GLUEベンチマークにおいて、OFAはRoBERTaやDeBERTaと競合する性能を示します。
  • Natural Language Generation (NLG): OFAはGigaword要約で高い性能を示し、従来のマルチモーダル事前学習モデルを上回ります。
  • Vision Understanding: ImageNet分類において、OFAはBeiTやMAEなどの自己教師ありビジョンモデルと同等の性能を達成します。

組成的一般化と転移

OFAは、組成的一般化を通じて、学習した能力を未見のタスクやドメインに転移させる能力を示します。

  • Unseen Tasks: 研究者はVQAとグラウンドキャプショニングを組み合わせた新タスク「Grounded VQA」を導入しました。指示を変更するだけで、OFAは既存の能力を活用してこの新タスクを実行できます。
  • Unseen Domains: OFAは、アニメデータと一般ドメインの視覚的グラウンディングでの事前学習を組み合わせることで、アニメーション画像上での視覚的グラウンディングなど、未見ドメインへの転移を効果的に行います。

結論

OFAモデルは、単一のTransformerベースのフレームワークがタスクとモダリティを統一できることを示し、マルチモーダル表現学習における汎用的基盤モデルの開発への有望な道筋を提供します。

Sources