mlfoundations/open_clip

解決する課題

OpenCLIP は、OpenAI の Contrastive Language-Image Pre-training (CLIP) のオープンソース実装であり、画像とテキストを結びつける対照的モデルを再現可能かつスケーラブルに学習・利用する方法を提供します。オリジナルの CLIP 学習コードや重みがオープンソースで利用できないという課題に対処し、研究者や開発者が LAION や DataComp といった大規模データセットで独自のモデルを学習できるようにします。

仕組み

このプロジェクトは、画像タワー（Vision Transformer または ConvNext）とテキストタワー（Transformer）を共同学習させ、正しくペアリングされた画像とキャプション間の類似度を最大化する対照学習フレームワークを提供します。ViT、ConvNext をはじめ、NaFlex（可変解像度画像および音声用）、CoCa、MaMMUT といった新しい実験的モデルファミリーなど、幅広いモデルアーキテクチャをサポートしています。

対象ユーザー

マルチモーダル AI に取り組む研究者や開発者を対象としています。特に、ゼロショット画像分類や画像・テキスト検索のための事前学習済み重みを必要とする方、あるいは独自の大規模対照的モデルを構築・学習したい方に適しています。

ハイライト

• 豊富な事前学習済みモデル: 多様なデータセット（LAION、DataComp、WebLI）で学習された膨大なモデル群へのアクセスを提供し、ImageNet で高いゼロショット精度を実現します。
• マルチモーダル対応: 画像・テキストだけでなく、音声・テキストの対照学習 (CLAP) や生成キャプション (CoCa/MaMMUT) もサポートしています。
• 高度な学習スタック: FSDP2、torch.compile 戦略、および可変解像度/アスペクト比の画像パイプライン (NaFlex) をサポートしています。
• 長期的な互換性: オリジナルの OpenAI の重みとの互換性を維持し、Hugging Face Hub と統合することでモデルの読み込みを容易にしています。