IDEFICS: 最先端の視覚言語モデルのオープンな再現

Hugging Faceは、IDEFICS（Image-aware Decoder Enhanced à la Flamingo with Interleaved Cross-attentionS）をリリースしました。これはオープンアクセスの視覚言語モデルです。IDEFICSは、DeepMindのFlamingoのオープンな再現であり、AIコミュニティに対して透明性がありオープンアクセスな独自マルチモーダルモデルの代替を提供することを目的として設計されています。

モデルの機能とバリアント

IDEFICSは、インターリーブされた画像とテキストの任意のシーケンスを入力として受け入れ、一貫したテキストを出力として生成できるマルチモーダルモデルです。これにより、画像に関する質問への回答、視覚コンテンツの説明、複数の画像に基づくストーリーテリングなどのタスクを実行できるようになります。

このモデルは、2つの主要なサイズと2つの機能的バリアントで利用可能です。

  • パラメータサイズ: 90億および800億パラメータ。
  • モデルバリアント: ベースバージョンと指示バージョン（例: idefics-80B-instruct と idefics-9B-instruct）で、会話ユースケースに特化して適応されています。

技術的アーキテクチャと基盤

IDEFICSは、公開されているモデルとデータを使用して構築されています。以下のコンポーネントを活用しています。

  • 言語モデル: LLaMA v1。
  • ビジョンエンコーダ: OpenCLIP。

これらの2つの事前学習済みモデルは、Hugging Faceによって訓練された新たに初期化されたパラメータを介して接続されています。ベースモデルは凍結されたままですが、これらの接続パラメータはMITライセンスの下でリリースされています。

トレーニングデータとOBELICSデータセット

IDEFICSは、Wikipedia、Public Multimodal Dataset、LAIONなどのオープンデータセットの混合物でトレーニングされました。その能力を向上させるため、Hugging FaceはOBELICSを作成およびリリースしました。これはウェブからスクレイプされた1億4100万枚のインターリーブ画像・テキストドキュメントからなる新しいデータセットで、合計3億5300万枚の画像と1150億トークンを含んでいます。

倫理的評価と透明性

透明性と安全性を確保するため、Hugging Faceは自己批判的、透明かつ公平であることに焦点を当てた倫理憲章に従いました。リリースプロセスには以下が含まれます：

  • レッドチーム: 画像とテキストを用いた対抗的プロンプトによる内部評価で、潜在的なバイアスを特定し軽減します。
  • ドキュメンテーション: ビルドプロセス中に遭遇した技術的な教訓とミスをリリースし、コミュニティの学習リソースを提供します。
  • ツール: Nomic AIを介してOBELICSデータセットのインタラクティブな可視化を提供します。

ライセンスとアクセス

IDEFICSへのアクセスは、そのベースコンポーネントのライセンスに従います：

  • CLIP-ViT-H-14-laion2B-s32B-b79K: MITライセンスの下でリリースされています。
  • llama-65b: 非商用研究ライセンスの下でリリースされています（Metaの申請フォームが必要です）。
  • 追加の重み: 新たに訓練された接続パラメータはMITライセンスの下でリリースされています。

IDEFICSはtransformersライブラリに統合されており、ユーザーはIdeficsForVisionText2TextとAutoProcessorを介してモデルをロードできます。

Sources