mlfoundations/open_clip

解决的问题

OpenCLIP 是 OpenAI 的对比语言-图像预训练 (CLIP) 的开源实现，旨在提供一种可重现且可扩展的方式来训练和使用连接图像与文本的对比模型。它解决了原始 CLIP 训练代码和权重缺乏开源的问题，使研究人员和开发人员能够在 LAION 或 DataComp 等大规模数据集上训练自己的模型。

工作原理

该项目提供了一个对比学习框架，其中图像塔（Vision Transformer 或 ConvNext）和文本塔（Transformer）被共同训练，以最大化正确配对的图像与其标题之间的相似度。它支持多种模型架构，包括 ViT、ConvNext 以及较新的实验性系列，如 NaFlex（用于可变分辨率图像和音频）、CoCa 和 MaMMUT。

目标用户

它适用于从事多模态 AI 研究的研究人员和开发人员，特别是那些需要用于零样本图像分类、图像-文本检索的预训练权重，或者想要构建和训练自己的大规模对比模型的人。

特点

• 丰富的预训练模型：提供对在多样化数据集（LAION、DataComp、WebLI）上训练的大量模型的访问，并在 ImageNet 上具有很高的零样本准确率。
• 多模态支持：除了图像-文本外，还包括对音频-文本对比训练 (CLAP) 和生成式标题生成 (CoCa/MaMMUT) 的支持。
• 先进的训练堆栈：包括对 FSDP2、torch.compile 策略以及可变分辨率/长宽比图像管道 (NaFlex) 的支持。
• 长期兼容性：保持与原始 OpenAI 权重的兼容性，并与 Hugging Face Hub 集成，以便轻松加载模型。