Chinese-CLIP：面向跨模态检索和零样本图像分类的大规模中文视觉语言模型

解决的问题

Chinese-CLIP 提供了 CLIP（对比语言-图像预训练）模型的中文版本。它弥补了缺乏针对中文语言专门优化的高性能大规模视觉语言模型的空白，使得跨模态检索、零样本图像分类以及图文相似度计算等任务成为可能。

工作原理

基于 open_clip 项目构建，Chinese-CLIP 在约 2 亿条中文图文对的大规模数据集上进行训练。它采用双编码器架构（一个用于视觉，一个用于文本），将两种模态映射到共享的嵌入空间。项目提供多种模型规模（从 RN50 到 ViT-H-14），并支持 FlashAttention、梯度累积以及 FLIP 训练策略等高级训练优化，以提升效率和性能。

适用人群

本项目面向从事中文多模态 AI 的开发者和研究者，尤其是需要实现图文搜索、自动图像标注或中文零样本分类的用户。

亮点

• 大规模训练：在约 2 亿条中文图文对上进行训练。
• 多种模型尺寸：提供五种不同规模的模型，包括 ResNet50 和多种 Vision Transformer（ViT）配置。
• 部署就绪：支持 ONNX、TensorRT 和 CoreML，便于加速推理和部署。
• 灵活训练：支持知识蒸馏微调、分布式训练以及梯度检查点，以提升内存效率。