huggingface/ratchet
A cross-platform browser ML framework.
解决的问题
Ratchet 为开发者提供了一个工具包，可将快速的 GPU 加速机器学习推理直接集成到原生和基于浏览器的应用程序中，而无需后端服务器。
运作原理
它利用 WebGPU 和 CPU 进行运算，专注于仅推理的工作负载。该工具包支持一流的量化和延迟计算，以确保高性能和效率，并强调“默认原地运算 (inplace by default)”。
目标对象
希望在不同平台上将高性能 AI 功能部署到生产应用程序中的机器学习开发者。
特色亮点
- 通过 WebGPU 进行 GPU 加速
- 支持原生和浏览器环境的跨平台支持
- 支持 Whisper、Phi 2 & 3 和 Moondream 等模型
- 内置量化支持
- 使用 IndexedDB 进行异步加载和缓存
相关
- 项目
- 项目
- 项目
- 项目