huggingface/transformers.js

何を解決するか

Transformers.js は、バックエンドサーバーを必要とせずに、ウェブブラウザ内で最新の機械学習モデルを実行できるようにします。これにより、AIタスクにサーバーサイドのインフラを必要とせず、プライベートでオフライン対応かつ低レイテンシのAI体験を実現できます。

動作方法

Hugging Face の transformers Python ライブラリと同等の機能を備え、類似した API を使用しています。ONNX Runtime を使ってブラウザ内でモデルを実行します。既存の PyTorch、TensorFlow、または JAX モデルは、🤗 Optimum ライブラリを使って ONNX 形式に変換できます。CPU では WASM を、GPU では WebGPU を使って実行することで、より高いパフォーマンスを実現できます。

対象ユーザー

テキスト生成、画像分類、音声認識などの AI 機能を、フロントエンドアプリケーションに直接統合したいウェブ開発者。

特徴

• マルチモーダル対応: NLP（要約、翻訳、テキスト生成）、コンピュータビジョン（オブジェクト検出、セグメンテーション）、音声（ASR、音声合成）を扱います。
• WebGPU 加速: 対応ブラウザでは GPU 実行をサポートし、より高速な推論を実現します。
• 量子化: 4ビットおよび8ビットの量子化をサポートし、リソース制約のある環境でのモデルサイズと帯域幅を削減します。
• パイプライン API: 前処理、モデル実行、後処理を1つの呼び出しでまとめるシンプルな pipeline 関数を提供します。