huggingface/transformers

해결하는 문제

Transformers는 사용자가 여러 모달리티에 걸친 최첨단 사전 훈련 모델에 쉽게 접근하고, 사용하고, 훈련할 수 있게 해주는 중앙 집중식 모델 정의 프레임워크를 제공합니다. 이는 모델을 처음부터 훈련할 필요를 없애고, 계산 비용과 탄소 발자국을 줄이며, 통합 API를 제공하여 연구자와 개발자의 진입 장벽을 낮춥니다.

작동 방식

모델 정의를 표준화함으로써 AI 생태계의 중심 역할을 합니다. 이는 다양한 훈련 프레임워크(DeepSpeed, PyTorch-Lightning, FSDP 등), 추론 엔진(vLLM, TGI 등), 기타 모델링 라이브러리(llama.cpp 등)와의 호환성을 보장합니다. 사용자는 Pipeline API와 같은 고수준 추상화를 통해 모델과 상호 작용하여 빠른 추론을 수행하거나, 모델 내부에 접근하여 더 깊은 사용자 지정을 할 수 있습니다.

대상 사용자

텍스트, 비전, 오디오 및 비디오 작업을 위한 최첨단 머신러닝 모델을 아키텍처를 처음부터 구축하지 않고 구현하려는 연구자, 엔지니어 및 개발자.

주요 특징

• 멀티모달 지원: 텍스트, 컴퓨터 비전, 오디오, 비디오 및 멀티모달 모델과 호환.
• 프레임워크 비종속: PyTorch, JAX 및 TF2.0 간에 모델을 이동할 수 있음.
• 방대한 라이브러리: Hugging Face Hub를 통해 100만 개 이상의 사전 훈련 모델 체크포인트에 접근 가능.
• 간소화된 API: 다양한 작업의 전처리와 출력을 처리하는 고수준 Pipeline API 제공.