huggingface/ratchet
A cross-platform browser ML framework.
解決的問題
Ratchet 為開發者提供了一個工具包，可將快速的 GPU 加速機器學習推論直接整合到原生和基於瀏覽器的應用程式中，而無需後端伺服器。
運作原理
它利用 WebGPU 和 CPU 進行運算，專注於僅推論的工作負載。該工具包支援一流的量化和延遲計算，以確保高效能和效率，並強調「預設原地運算 (inplace by default)」。
目標對象
希望在不同平台上將高效能 AI 功能部署到生產應用程式中的機器學習開發者。
特色亮點
- 透過 WebGPU 進行 GPU 加速
- 支援原生和瀏覽器環境的跨平台支援
- 支援 Whisper、Phi 2 & 3 和 Moondream 等模型
- 內建量化支援
- 使用 IndexedDB 進行非同步載入和快取
相關
- 專案
- 專案
- 專案
- 專案