elixir-nx/bumblebee

해결하는 문제

Bumblebee는 Elixir 개발자가 복잡한 머신러닝 코드를 처음부터 작성하지 않고도 사전 학습된 신경망 모델을 사용할 수 있도록 합니다. 이는 Python의 Transformers 라이브러리에 대한 Elixir 대응물로, Hugging Face Hub에서 모델을 로드하고 실행할 수 있게 해줍니다.

작동 방식

Bumblebee는 Axon 위에 구축되며, Hugging Face Hub와 통합되어 모델 구성과 학습된 파라미터를 다운로드합니다. PyTorch 및 Safetensors 형식의 모델을 지원합니다. 효율적인 모델 실행을 위해 EXLA를 사용하여 CPU 또는 GPU에서 JIT 컴파일 및 실행을 수행합니다.

대상 사용자

Phoenix 및 LiveView 앱과 같은 애플리케이션 또는 Livebook과 같은 인터랙티브 노트북에 텍스트 분류, 이미지 분류, 텍스트 생성과 같은 머신러닝 작업을 통합하고자 하는 Elixir 개발자.

주요 기능

• Hugging Face 통합: 몇 줄의 코드로 Hugging Face Hub에서 모델과 토크나이저를 직접 로드할 수 있습니다.
• 하드웨어 가속: EXLA를 통해 GPU 실행을 지원합니다.
• 엔드투엔드 파이프라인: 일반적인 작업(예: Bumblebee.Text.fill_mask)을 위한 고수준 API와 간편한 배포를 위한 서빙 파이프라인을 제공합니다.
• 광범위한 모델 지원: BERT 및 Stable Diffusion 등 다양한 신경망 아키텍처를 구현하여 사용자가 해당 사전 학습된 가중치를 로드할 수 있도록 합니다.