huggingface/transformers.js

解決的問題

Transformers.js 讓開發者能在不需要後端伺服器的情況下，直接在瀏覽器中執行最尖端的機器學習模型。這消除了 AI 任務對伺服器端基礎設施的需求，實現私密性、離線可用性以及低延遲的 AI 使用體驗。

運作方式

其功能與 Hugging Face 的 transformers Python 套件完全等效，使用類似的 API。它利用 ONNX Runtime 在瀏覽器中執行模型。開發者可使用 🤗 Optimum 套件將現有的 PyTorch、TensorFlow 或 JAX 模型轉換為 ONNX 格式。模型可透過 WASM 在 CPU 上執行，或透過 WebGPU 在 GPU 上執行，以獲得更佳效能。

適用對象

希望將文字生成、影像分類、語音辨識等 AI 功能直接整合至前端應用的 Web 開發者。

主要特色

• 多模態支援：支援 NLP（摘要、翻譯、文字生成）、電腦視覺（物件偵測、分割）與音訊（ASR、文字轉語音）。
• WebGPU 加速：在相容瀏覽器中支援 GPU 執行，實現更快的推論速度。
• 量化支援：支援 4 位與 8 位量化，以減少模型大小與頻寬需求，適用於資源受限環境。
• Pipeline API：提供簡單的 pipeline 函數，將預處理、模型執行與後處理整合為單一呼叫。