mlfoundations/open_clip

해결하는 문제

OpenCLIP은 OpenAI의 Contrastive Language-Image Pre-training (CLIP)을 오픈소스로 구현한 것으로, 이미지와 텍스트를 연결하는 대조 모델을 재현 가능하고 확장 가능한 방식으로 학습하고 사용할 수 있도록 설계되었습니다. 이는 기존 CLIP 학습 코드와 가중치가 오픈소스로 제공되지 않는 문제를 해결하여, 연구자와 개발자가 LAION이나 DataComp와 같은 대규모 데이터셋에서 자신만의 모델을 학습할 수 있도록 합니다.

작동 방식

이 프로젝트는 이미지 타워(Vision Transformer 또는 ConvNext)와 텍스트 타워(Transformer)를 함께 학습시켜 올바르게 쌍을 이룬 이미지와 캡션 간의 유사도를 극대화하는 대조 학습 프레임워크를 제공합니다. ViT, ConvNext를 비롯하여 NaFlex(가변 해상도 이미지 및 오디오용), CoCa, MaMMUT와 같은 최신 실험적 모델 제품군 등 다양한 모델 아키텍처를 지원합니다.

대상 사용자

멀티모달 AI를 연구하는 연구자와 개발자를 위한 도구입니다. 특히 제로샷 이미지 분류나 이미지-텍스트 검색을 위한 사전 학습된 가중치가 필요한 분, 또는 자신만의 대규모 대조 모델을 구축하고 학습하려는 분들에게 적합합니다.

주요 특징

• 광범위한 사전 학습 모델: 다양한 데이터셋(LAION, DataComp, WebLI)으로 학습된 방대한 모델 컬렉션에 대한 액세스를 제공하며, ImageNet에서 높은 제로샷 정확도를 보여줍니다.
• 멀티모달 지원: 이미지-텍스트 외에도 오디오-텍스트 대조 학습(CLAP) 및 생성형 캡셔닝(CoCa/MaMMUT)을 지원합니다.
• 고급 학습 스택: FSDP2, torch.compile 전략, 가변 해상도/종횡비 이미지 파이프라인(NaFlex)을 지원합니다.
• 장기적 호환성: 기존 OpenAI 가중치와의 호환성을 유지하며, Hugging Face Hub와 통합되어 모델을 쉽게 불러올 수 있습니다.