huggingface/ratchet

解決する課題

Ratchetは、バックエンドサーバーを必要とせずに、高速なGPUアクセラレーションによるML推論をネイティブアプリやブラウザベースのアプリケーションに直接統合するためのツールキットを提供します。

仕組み

WebGPUとCPUを活用して計算を行い、推論のみのワークロードに焦点を当てています。このツールキットは、最高クラスの量子化と遅延計算をサポートしており、高いパフォーマンスと効率を確保し、「デフォルトでインプレース (inplace by default)」であることを重視しています。

対象ユーザー

さまざまなプラットフォーム上の本番アプリケーションに、パフォーマンスの高いAI機能を導入したいML開発者。

ハイライト

• WebGPUによるGPUアクセラレーション
• ネイティブ環境およびブラウザ環境でのクロスプラットフォーム対応
• Whisper、Phi 2 & 3、Moondreamなどのモデルをサポート
• 組み込みの量子化サポート
• IndexedDBを使用した非同期読み込みとキャッシュ