mil-tokyo/webdnn

解決的問題

WebDNN 允許開發者在 Web 瀏覽器中直接執行神經網路推論，無需依賴專用伺服器來處理 AI 模型。它特別簡化了流程，允許直接將 ONNX 模型載入瀏覽器中，無需 Python 前處理。

工作原理

WebDNN 使用瀏覽器中可用的各種硬體加速技術來轉換和執行 ONNX 模型。它支援三種主要後端：

• WebGPU（使用 WGSL）適用於 Chrome 和 Edge 等現代瀏覽器。
• WebGL（支援 WebGL2 並提供 WebGL1 回退）以實現更廣泛的相容性。
• WebAssembly（透過 emscripten）用於 CPU 執行。

適用對象

希望在 Web 應用中整合 AI 模型推論，而無需依賴外部 API 或伺服器端處理的 Web 開發者。

主要特色

• 直接支援 ONNX：無需 Python 前處理，可直接將 ONNX 模型載入瀏覽器中。
• 多種加速後端：支援 WebGPU、WebGL 和 WebAssembly，以實現最佳效能。
• 離線優化：提供在部署前對模型進行離線優化的系統。
• 動態載入：運算子套件可在執行時動態載入，以減少初始載入時間。