mil-tokyo/webdnn

何を解決するか

WebDNNは開発者がWebブラウザ内でニューラルネットワークの推論を直接実行できるようにし、AIモデルを処理する専用サーバーの必要性を排除します。特に、ONNXモデルをPythonの前処理なしにブラウザに直接読み込めるようにすることで、プロセスを簡素化しています。

動作方法

WebDNNは、ブラウザで利用可能なさまざまなハードウェアアクセラレーション技術を使用してONNXモデルを変換および実行します。3つの主要なバックエンドをサポートしています：

• WebGPU（WGSLを使用）：ChromeやEdgeなどの現代的なブラウザ向け。
• WebGL（WebGL2とWebGL1のフォールバックを含む）：より広範な互換性を提供。
• WebAssembly（emscripten経由）：CPUベースの実行向け。

対象ユーザー

外部APIやサーバーサイド処理に依存せずに、WebアプリケーションにAIモデルの推論を統合したいWeb開発者。

特徴

• 直接的なONNXサポート：Pythonの前処理なしに、ブラウザにONNXモデルを直接読み込み可能。
• 複数のアクセラレーションバックエンド：最適なパフォーマンスを実現するため、WebGPU、WebGL、WebAssemblyをサポート。
• オフライン最適化：デプロイ前にモデルをオフラインで最適化する仕組みを提供。
• 動的ロード：実行時に演算子バンドルを動的に読み込むことで、初期ロード時間を短縮。