open_clip: 一个用于训练和部署大规模对比语言-图像及音频-文本模型的开源框架

它解决了什么问题

OpenCLIP 是 OpenAI 的 CLIP (Contrastive Language-Image Pre-training) 的开源实现。它提供了一个可扩展的框架，用于训练、评估和使用将图像和文本链接在共享嵌入空间中的对比模型，从而实现诸如零样本图像分类和高效的图像-文本检索等任务。

工作原理

该项目实现了对比学习，其中图像编码器和文本编码器被共同训练，以最大化配对图像和标题之间的相似度。它支持广泛的架构（例如 ViT 和 ConvNext）以及训练策略。最近的更新引入了用于可变分辨率图像和音频的 "NaFlex"，以及带有先进注意力机制（RoPE, SwiGLU）的 "Modern" 文本塔。它利用 PyTorch 的 FSDP2 和 torch.compile 在大型 GPU 集群上进行高性能分布式训练。

适用人群

• AI 研究员： 研究对比学习缩放法则 (scaling laws) 或开发新型多模态架构的人员。
• ML 工程师： 需要高性能、预训练多模态嵌入以用于下游应用的人员。
• 数据科学家： 希望在自己的图像数据集上进行零样本分类而无需进行大量微调的用户。

亮点

• 丰富的预训练模型： 可以访问在 LAION-2B 和 DataComp-1B 等海量数据集上训练的庞大模型库。
• 高性能训练： 原生支持 FSDP2、SLURM 集群和 torch.compile 以实现极高的可扩展性（已测试高达 1024 A100s）。
• 多模态通用性： 支持图像-文本 (CLIP)、音频-文本 (CLAP) 以及生成式标题生成 (GenLIP/GenLAP)。
• 灵活的输入处理： NaFlex 流水线允许使用可变长宽比的图像和可变时长的音频。
• 高效的数据加载： 集成了 WebDataset 支持，以低内存开销处理数十亿个样本。