huggingface/transformers.js

解决的问题

Transformers.js 允许开发者在无需后端服务器的情况下，直接在网页浏览器中运行最先进的机器学习模型。这消除了 AI 任务对服务器端基础设施的需求，从而实现私密性、离线可用性以及低延迟的 AI 体验。

工作原理

它在功能上与 Hugging Face 的 transformers Python 库等效，使用类似的 API。它利用 ONNX Runtime 在浏览器中执行模型。用户可以使用 🤗 Optimum 库将现有的 PyTorch、TensorFlow 或 JAX 模型转换为 ONNX 格式。模型可通过 WASM 在 CPU 上运行，或通过 WebGPU 在 GPU 上运行以获得更好的性能。

适用人群

希望将文本生成、图像分类、语音识别等 AI 功能直接集成到前端应用中的 Web 开发者。

主要亮点

• 多模态支持：支持 NLP（摘要、翻译、文本生成）、计算机视觉（目标检测、分割）和音频（ASR、文本转语音）。
• WebGPU 加速：在兼容的浏览器中支持 GPU 执行，实现更快的推理速度。
• 量化支持：支持 4 位和 8 位量化，以减小模型大小和带宽需求，适用于资源受限的环境。
• Pipeline API：提供简单的 pipeline 函数，将预处理、模型执行和后处理整合为一次调用。