mlfoundations/open_clip

해결하는 문제

OpenCLIP은 OpenAI의 CLIP(Contrastive Language-Image Pre-training)에 대한 오픈 소스 구현체로, 이미지와 텍스트 간의 관계를 이해할 수 있는 대규모 모델을 학습하고 사용할 수 있는 프레임워크를 제공합니다. 연구원과 개발자는 LAION 및 DataComp와 같은 대규모 데이터셋에서 학습된 다양한 사전 학습 모델에 액세스할 수 있어, 리소스가 많이 소모되는 이러한 모델을 처음부터 학습할 필요가 없습니다.

작동 방식

이 프로젝트는 이미지 인코더와 텍스트 인코더를 학습시켜 이미지와 해당 캡션을 공유 임베딩 공간으로 매핑하는 대조 학습 접근 방식을 구현합니다. 이를 통해 시스템은 특정 이미지가 특정 텍스트와 얼마나 잘 일치하는지 판단할 수 있습니다. 이 라이브러리는 Vision Transformers (ViT) 및 ConvNext를 포함한 다양한 아키텍처를 지원하며, 이미지 인코더를 위한 timm 및 토크나이저를 위한 Hugging Face와 같은 도구와 통합됩니다.

대상 독자

제로 샷 이미지 분류, 이미지-텍스트 검색 또는 멀티모달 이해가 필요한 애플리케이션을 구축하는 AI 연구원, 머신 러닝 엔지니어 및 개발자를 위해 설계되었습니다.

하이라이트

• 방대한 사전 학습 라이브러리: LAION-2B 및 DataComp-1B와 같은 데이터셋에서 학습된 수많은 모델에 대한 액세스를 제공하며, ImageNet에서 높은 제로 샷 정확도를 달성합니다.
• 다양한 모델 패밀리: CLIP, SigLIP, CoCa, MaMMUT 및 NaFlex(가변 해상도 이미지 및 오디오)와 같은 최신 실험적 아키텍처를 지원합니다.
• 고급 학습 스택: 학습 효율성을 최적화하기 위해 FSDP2, torch.compile 전략 및 길이 버케팅에 대한 지원을 포함합니다.
• 멀티모달 확장: 이미지 외에도 오디오-텍스트 대조 학습(CLAP) 및 생성적 캡셔닝(GenLIP/GenLAP)을 지원합니다.