midudev/runonweb.ai

解決する問題

AI モデルを実行するには通常、データをサーバーに送信する必要があり、プライバシーの懸念が生じ、遅延とコストが増加します。このプロジェクトは、ブラウザ内で直接実行されるモジュール式の AI 機能を提供することでこれを解決し、ユーザーのデバイスからデータが外部に出ることはありません。また、統合も簡素化されます。各タスクは 1 つのインポートで済み、基盤となるモデルは常に明確なライセンスでオープンです。

仕組み

このプロジェクトは、ライブラリ（runonweb）とデモウェブサイト（packages/web）の 2 つの部分からなるモノレポを提供します。各モジュールは単一のインポートに対応しており、例えば音声認識用の runonweb/stt や背景除去用の runonweb/remove-bg などがあります。ライブラリは最適なバックエンドを自動的に選択します。WebGPU が利用可能な場合はそれを使用し、それ以外の場合は WASM にフォールバックします。すべての計算はローカルで行われます。モデルは初回使用時に Hugging Face Hub からダウンロードされ、各モデルは独自のライセンスを保持します。ウェブサイトは Astro で構築され、Cloudflare Workers を介してデプロイされ、ライブデモとすべてのベースモデルのクレジットが含まれています。

対象読者

これは、バックエンドサーバーを立てずに、文字起こし、翻訳、画像キャプション、深度推定などの AI 機能をサイトに追加したいウェブ開発者向けです。また、すべてのデータがデバイス上に留まるため、プライバシーを重視する人にも役立ちます。このプロジェクトはオープンソース（コードは MIT）であり、再配布と商用利用を許可するモデルのみを使用しているため、本番アプリケーションに適しています。

ハイライト

• プライバシー漏洩ゼロ：すべての推論はローカルで実行され、サーバーに送信されるものはありません。
• WebGPU 優先、WASM フォールバック：最新の GPU で高速に動作し、古いデバイスでも動作します。
• 幅広いモジュール：音声認識、背景除去、画像キャプション、深度推定、物体検出、OCR、テキスト埋め込み、分類、翻訳、音声クリーニング、絵文字提案、テキスト読み上げ。
• すべてのモデルがオープン：各デモページにはベースモデル、作者、ライセンスが記載されています。コードは MIT ですが、モデルは独自の条件を保持します。
• 簡単な統合：タスクごとに 1 つのインポートで、一貫した API と自動バックエンド選択を提供します。
• 積極的な研究ノート：README には実際のバックエンドの制限と回避策が記載されており、落とし穴を回避しやすくなっています。