midudev/runonweb.ai

解决的问题

运行 AI 模型通常需要将数据发送到服务器，这会引发隐私问题，并增加延迟和成本。该项目通过提供一组模块化的 AI 功能，直接在浏览器中执行，从而解决了这一问题，确保用户设备上的数据不会外泄。它还简化了集成：每个任务只需一次导入，底层模型始终开放且具有明确的许可证。

工作原理

该项目提供了一个 monorepo，包含两部分：一个库（runonweb）和一个演示网站（packages/web）。每个模块对应一个单独的导入，例如 runonweb/stt 用于语音转文字，或 runonweb/remove-bg 用于背景移除。该库会自动选择最佳后端：当 WebGPU 可用时使用 WebGPU，否则回退到 WASM。所有计算均在本地完成。模型在首次使用时从 Hugging Face Hub 下载，每个模型保留其自己的许可证。该网站使用 Astro 构建，并通过 Cloudflare Workers 部署，包含实时演示以及每个基础模型的积分信息。

适用人群

适用于希望在其网站中添加 AI 功能（如转录、翻译、图像字幕或深度估计）而无需搭建后端服务器的 Web 开发者。也适用于任何注重隐私的人，因为所有数据都保留在设备上。该项目是开源的（代码采用 MIT 许可证），并且仅使用允许再分发和商业使用的模型，因此适合生产环境应用。

亮点

• 零隐私泄露：所有推理均在本地运行；不会向服务器发送任何数据。
• WebGPU 优先，WASM 回退：在现代 GPU 上运行快速，在旧设备上也能正常工作。
• 广泛的模块：语音转文字、背景移除、图像字幕、深度估计、目标检测、OCR、文本嵌入、分类、翻译、音频清理、表情符号建议和文本转语音。
• 所有模型均开放：每个演示页面都注明了基础模型、作者和许可证；代码采用 MIT 许可证，而模型保留其自身条款。
• 易于集成：每个任务只需一次导入，API 一致，并自动选择后端。
• 积极的研究笔记：README 记录了实际的后端限制和解决方法，帮助避免常见陷阱。