huggingface/candle

해결하는 문제

Candle은 서버리스 추론을 가능하게 하고 프로덕션 워크로드에서 Python을 제거하기 위해 설계된 Rust용 미니멀리스트 머신 러닝 프레임워크입니다. PyTorch와 같은 전체 프레임워크와 관련된 오버헤드 및 큰 바이너리 크기 문제를 해결하여 가볍고 빠른 바이너리를 배포할 수 있도록 합니다.

작동 방식

텐서 연산 및 모델 학습을 위해 PyTorch와 유사한 구문을 제공합니다. Candle은 최적화된 CPU 백엔드(MKL 및 Accelerate 지원 포함), GPU 가속을 위한 CUDA 백엔드, 그리고 브라우저에서 직접 모델을 실행하기 위한 WASM을 포함한 여러 백엔드를 지원합니다. safetensors, npz, ggml 및 PyTorch 파일을 포함한 다양한 형식에서 모델을 로드할 수 있습니다.

대상 사용자

Rust로 고성능 ML 모델을 구축하고 배포하려는 개발자, 특히 서버리스 또는 브라우저 기반 배포를 위해 Python의 GIL과 기존 ML 프레임워크의 무거운 공간을 피하려는 개발자를 위한 것입니다.

하이라이트

• 폭넓은 모델 지원: LLaMA, Mistral, Mixtral, Stable Diffusion, Whisper 등을 포함한 다양한 구현을 제공합니다.
• 멀티 백엔드: CPU, CUDA 및 WebAssembly(WASM)에 대한 기본 지원.
• 경량: 효율적인 서버리스 배포를 위해 작은 바이너리 생성에 중점을 둡니다.
• PyTorch와 유사한 API: PyTorch에서 전환하는 사용자에게 익숙한 구문을 제공하여 Rust로의 전환을 더 쉽게 만듭니다.
• 양자화: llama.cpp 타입을 사용한 양자화를 지원하여 모델 크기와 메모리 사용량을 줄입니다.