huggingface/transformers.js

해결하는 문제

Transformers.js는 백엔드 서버가 필요 없이 웹 브라우저 내에서 최신 기계학습 모델을 직접 실행할 수 있게 해줍니다. 이로 인해 AI 작업에 서버 사이드 인프라가 필요 없으며, 개인 정보 보호가 가능하고 오프라인에서도 작동하며 지연 시간이 낮은 AI 경험을 제공할 수 있습니다.

작동 방식

Hugging Face transformers 파이썬 라이브러리와 기능적으로 동일한 API를 사용하며, ONNX Runtime를 활용해 브라우저에서 모델을 실행합니다. 기존의 PyTorch, TensorFlow, 또는 JAX 모델은 🤗 Optimum 라이브러리를 사용해 ONNX 형식으로 변환할 수 있습니다. CPU는 WASM을 통해, GPU는 WebGPU를 통해 실행하여 더 높은 성능을 달성할 수 있습니다.

대상 사용자

텍스트 생성, 이미지 분류, 음성 인식과 같은 AI 기능을 프론트엔드 애플리케이션에 직접 통합하고자 하는 웹 개발자들입니다.

주요 특징

• 다중 모달 지원: NLP(요약, 번역, 텍스트 생성), 컴퓨터 비전(객체 탐지, 세그멘테이션), 오디오(ASR, 텍스트 음성 변환)를 처리합니다.
• WebGPU 가속: 호환 브라우저에서 GPU 실행을 지원하여 더 빠른 추론을 제공합니다.
• 양자화: 4비트 및 8비트 양자화를 지원하여 자원 제약 환경에서 모델 크기와 대역폭을 줄입니다.
• 파이프라인 API: 전처리, 모델 실행, 후처리를 하나의 호출로 통합하는 간단한 pipeline 함수를 제공합니다.