mil-tokyo/webdnn

解决的问题

WebDNN 允许开发者在 Web 浏览器中直接运行神经网络推理，无需依赖专用服务器来处理 AI 模型。它特别简化了流程，允许直接将 ONNX 模型加载到浏览器中，无需 Python 预处理。

工作原理

WebDNN 使用浏览器中可用的各种硬件加速技术来转换和执行 ONNX 模型。它支持三种主要后端：

• WebGPU（使用 WGSL）适用于 Chrome 和 Edge 等现代浏览器。
• WebGL（支持 WebGL2 并提供 WebGL1 回退）以实现更广泛的兼容性。
• WebAssembly（通过 emscripten）用于基于 CPU 的执行。

适用人群

希望在 Web 应用中集成 AI 模型推理，而无需依赖外部 API 或服务器端处理的 Web 开发者。

主要亮点

• 直接支持 ONNX：无需 Python 预processing，可直接将 ONNX 模型加载到浏览器中。
• 多种加速后端：支持 WebGPU、WebGL 和 WebAssembly，以实现最佳性能。
• 离线优化：提供在部署前对模型进行离线优化的系统。
• 动态加载：运算符包可在运行时动态加载，以减少初始加载时间。