elixir-nx/bumblebee

해결하는 문제

Bumblebee는 Elixir 개발자가 복잡한 기계학습 코드를 처음부터 작성하지 않고도 사전 훈련된 신경망 모델을 사용할 수 있도록 합니다. 이는 Python의 Transformers 라이브러리에 대한 Elixir 대응물로, Hugging Face Hub에서 모델을 원활하게 가져와 실행할 수 있게 해줍니다.

작동 방식

Bumblebee는 Axon 위에 구축되며 Hugging Face Hub와 통합되어 모델 구성과 학습된 파라미터를 다운로드합니다. 블루프린트(config.json)와 가중치(PyTorch 또는 Safetensors 형식)를 가져와 Elixir에서 해당 모델 구현을 구성합니다. 텍스트 처리를 위해 Rust 기반 토크나이저를 Tokenizers 라이브러리의 바인딩을 통해 사용합니다.

대상 사용자

Phoenix 및 LiveView 앱과 같은 애플리케이션 또는 Livebook과 같은 인터랙티브 노트북에 텍스트 분류, 이미지 분류, 텍스트 생성과 같은 기계학습 작업을 통합하고자 하는 Elixir 개발자.

주요 특징

• Hugging Face 통합: Hugging Face Hub에서 모델을 직접 다운로드하고 실행할 수 있는 지원.
• 하드웨어 가속: EXLA를 통해 CPU 및 GPU에서 JIT 컴파일 및 실행을 지원.
• 엔드투엔드 파이프라인: 텍스트 마스크 채우기와 같은 일반적인 작업을 위한 고수준 API 제공.
• 다중 언어 호환성: PyTorch로 훈련된 모델을 가져올 수 있으며, 빠른 Rust 기반 토크나이저를 지원.