huggingface/candle

解決的問題

Candle 是一個適用於 Rust 的極簡主義機器學習框架，旨在實現無伺服器推論並將 Python 從生產環境工作負載中移除。它解決了與 PyTorch 等完整框架相關的額外開銷和龐大的二進位檔案大小問題，允許部署輕量級、快速的二進位檔案。

運作方式

它為張量操作和模型訓練提供了類似 PyTorch 的語法。Candle 支援多種後端，包括優化的 CPU 後端（支援 MKL 和 Accelerate）、用於 GPU 加速的 CUDA 後端，以及用於直接在瀏覽器中執行模型的 WASM。它可以從多種格式載入模型，包含 safetensors、npz、ggml 和 PyTorch 檔案。

適用對象

希望在 Rust 中建置和部署高效能機器學習模型的開發者，特別是那些希望避免 Python 的 GIL 以及傳統機器學習框架龐大資源佔用，以用於無伺服器或基於瀏覽器部署的開發者。

亮點

• 廣泛的模型支援：包含 LLaMA、Mistral、Mixtral、Stable Diffusion、Whisper 等多種模型的實作。
• 多後端：原生支援 CPU、CUDA 和 WebAssembly (WASM)。
• 輕量級：專注於建立小型二進位檔案，以實現高效的無伺服器部署。
• 類似 PyTorch 的 API：對於來自 PyTorch 的使用者提供熟悉的語法，讓轉換到 Rust 變得更容易。
• 量化：支援使用 llama.cpp 類型進行量化，以減少模型大小和記憶體使用量。