huggingface/transformers

해결하는 문제

Transformers는 최신 사전 학습된 기계 학습 모델에 접근하고 사용할 수 있는 중앙집중형 통합 프레임워크를 제공합니다. 모델을 처음부터 훈련할 필요 없이 계산 비용과 탄소 배출량을 줄이고, 다양한 모달리티에서 고성능 AI를 구현하기 위한 개발자와 연구자의 진입 장벽을 낮춥니다.

작동 방식

AI 생태계 전반에서 모델 정의를 표준화하는 모델 정의 프레임워크로 작동합니다. 이 중앙화로 인해 모델은 DeepSpeed 및 PyTorch-Lightning과 같은 다양한 훈련 프레임워크와 vLLM 및 TGI와 같은 추론 엔진과 호환됩니다. 사용자는 고수준 Pipeline API를 통해 텍스트, 오디오, 비전, 멀티모달 작업의 전처리를 자동으로 처리하고 출력을 빠르게 얻을 수 있습니다.

대상 사용자

기초 아키텍처를 처음부터 구축하지 않고도 최신 사전 학습 모델을 사용, 커스터마이즈, 또는 훈련하고 싶은 연구자, 엔지니어, 개발자

주요 특징

• 텍스트, 컴퓨터 비전, 오디오, 비디오, 멀티모달 모델용 통합 API.
• Hugging Face Hub를 통해 100만 개 이상의 사전 학습 모델 체크포인트에 접근 가능.
• PyTorch, JAX, TF2.0 간의 프레임워크 간 호환성 제공.
• 추론 작업의 빠른 배포를 위한 고수준 Pipeline API.