huggingface/candle

解决的问题

Candle 是一个适用于 Rust 的极简机器学习框架，旨在实现无服务器推理并将 Python 从生产环境工作负载中移除。它解决了与 PyTorch 等完整框架相关的额外开销和庞大的二进制文件大小问题，允许部署轻量级、快速的二进制文件。

工作原理

它为张量操作和模型训练提供了类似 PyTorch 的语法。Candle 支持多种后端，包括优化的 CPU 后端（支持 MKL 和 Accelerate）、用于 GPU 加速的 CUDA 后端，以及用于直接在浏览器中运行模型的 WASM。它可以从多种格式加载模型，包括 safetensors、npz、ggml 和 PyTorch 文件。

适用对象

希望在 Rust 中构建和部署高性能机器学习模型的开发者，特别是那些希望避免 Python 的 GIL 以及传统机器学习框架庞大资源占用，以用于无服务器或基于浏览器部署的开发者。

亮点

• 广泛的模型支持：包含 LLaMA、Mistral、Mixtral、Stable Diffusion、Whisper 等多种模型的实现。
• 多后端：原生支持 CPU、CUDA 和 WebAssembly (WASM)。
• 轻量级：专注于创建小型二进制文件，以实现高效的无服务器部署。
• 类似 PyTorch 的 API：对于来自 PyTorch 的用户提供熟悉的语法，使过渡到 Rust 变得更容易。
• 量化：支持使用 llama.cpp 类型进行量化，以减少模型大小和内存使用量。