huggingface/candle

解決する課題

CandleはRust向けのミニマリスト機械学習フレームワークであり、サーバーレス推論を可能にし、本番環境のワークロードからPythonを排除することを目的として設計されています。PyTorchのような完全なフレームワークに関連するオーバーヘッドと大きなバイナリサイズの問題を解決し、軽量で高速なバイナリのデプロイを可能にします。

仕組み

テンソル操作とモデル学習のためにPyTorchに似た構文を提供します。Candleは複数のバックエンドをサポートしており、最適化されたCPUバックエンド（MKLとAccelerateのサポートを含む）、GPUアクセラレーション用のCUDAバックエンド、そしてブラウザで直接モデルを実行するためのWASMが含まれます。safetensors、npz、ggml、PyTorchファイルなどのさまざまな形式からモデルを読み込むことができます。

対象者

Rustで高性能なMLモデルを構築およびデプロイしたい開発者、特にサーバーレスまたはブラウザベースのデプロイにおいて、PythonのGILや従来のMLフレームワークの重いフットプリントを避けたいと考えている開発者向けです。

ハイライト

• 幅広いモデルサポート: LLaMA、Mistral、Mixtral、Stable Diffusion、Whisperなど、多くの実装が含まれています。
• マルチバックエンド: CPU、CUDA、WebAssembly (WASM) のネイティブサポート。
• 軽量: 効率的なサーバーレスデプロイのための小さなバイナリの作成に焦点を当てています。
• PyTorchライクなAPI: PyTorchから移行するユーザーにとって馴染みのある構文により、Rustへの移行が容易になります。
• 量子化: llama.cppタイプを使用した量子化をサポートし、モデルサイズとメモリ使用量を削減します。