mlfoundations/open_clip

An open source implementation of CLIP.

What it solves

OpenCLIP 是 OpenAI CLIP（Contrastive Language-Image Pre‑training）的开源实现。它提供一个可扩展的框架，用于训练、评估和使用将图像和文本映射到共享嵌入空间的对比模型，从而支持零样本图像分类和高效的图像‑文本检索等任务。

How it works

该项目实现了对比学习：图像编码器和文本编码器同步训练，以最大化配对图像与字幕之间的相似度。支持多种架构（如 ViT、ConvNext）和训练策略。近期更新加入了 “NaFlex” 用于可变分辨率图像和音频，并提供 “Modern” 文本塔，采用先进的注意力机制（RoPE、SwiGLU）。它利用 PyTorch 的 FSDP2 与 torch.compile，在大型 GPU 集群上实现高性能分布式训练。

Who it’s for

  • AI Researchers: 研究对比学习的尺度法则或开发新型多模态架构的学者。
  • ML Engineers: 需要高性能、预训练多模态嵌入以供下游应用的开发者。
  • Data Scientists: 想在自己的图像数据集上执行零样本分类且不想进行大量微调的用户。

Highlights

  • Extensive Pretrained Models: 可获取在 LAION‑2B、DataComp‑1B 等大规模数据集上训练的丰富模型库。
  • High-Performance Training: 原生支持 FSDP2、SLURM 集群与 torch.compile，具备极致可扩展性（已测试至 1024 块 A100）。
  • Multimodal Versatility: 支持图像‑文本（CLIP）、音频‑文本（CLAP）以及生成式字幕（GenLIP/GenLAP）。
  • Flexible Input Handling: NaFlex 流程允许可变长宽比例的图像和可变时长的音频。
  • Efficient Data Loading: 集成 WebDataset，能够以低内存开销处理数十亿样本。