transformers: 무엇이며, 어떤 문제를 해결하고 왜 주목받고 있는가

해결하는 문제

Transformers는 텍스트, 컴퓨터 비전, 오디오, 비디오 및 멀티모달 작업을 포함한 다양한 모달리티에 걸쳐 최첨단 사전학습 모델에 접근하고 이를 사용할 수 있는 통합적이고 사용하기 쉬운 프레임워크를 제공합니다. 모델을 처음부터 학습할 필요성을 없애 주어 컴퓨팅 비용과 AI 개발의 탄소 발자국을 감소시킵니다.

작동 방식

이 프레임워크는 AI 생태계 전반에 걸쳐 일관성을 보장하는 중앙 집중형 모델 정의 프레임워크 역할을 합니다. 통합 API를 제공함으로써 사용자가 모델을 서로 다른 프레임워크(PyTorch, JAX, TF2.0) 사이에 이동시킬 수 있게 하고, 다양한 학습 프레임워크(예: DeepSpeed 및 FSDP)와 추론 엔진(예: vLLM 및 TGI)과도 통합됩니다.

대상 사용자

자연어 이해·생성 및 기타 감각 작업을 위한 고성능 머신러닝 모델을 높은 진입 장벽 없이 구현하고자 하는 연구자, 엔지니어, 개발자들을 위한 것입니다.

주요 특징

• 통합 API: Hugging Face Hub에 있는 100만 개가 넘는 사전학습 체크포인트를 사용할 수 있는 단일 인터페이스.
• Pipeline API: 텍스트 생성, 음성 인식, 이미지 분류와 같은 작업에 대해 전처리와 출력 처리를 자동으로 수행하는 고수준 추론 클래스.
• 프레임워크 독립성: PyTorch, JAX, TensorFlow 간에 모델을 자유롭게 이동할 수 있음.
• 광범위한 모달리티 지원: NLP, 컴퓨터 비전, 오디오 및 멀티모달 모델(예: 시각 질문 응답, 이미지 캡셔닝)을 포괄.
• 커스터마이징 가능: 모델 내부 구조가 공개되어 있어 연구자가 빠르게 반복하고 아키텍처를 맞춤화할 수 있음.

---

요약: 텍스트, 비전, 오디오 및 멀티모달 작업을 위한 최첨단 사전학습 모델을 정의하는 프레임워크로, 손쉬운 추론 및 학습을 가능하게 합니다.

제목: transformers: 무엇이며, 어떤 문제를 해결하고 왜 주목받고 있는가