webmachinelearning/prompt-api

解决的问题

该项目提出了一种标准化的 JavaScript API，允许网页开发者直接访问浏览器或操作系统中内置的语言模型。它消除了开发者依赖云 AI API 或手动使用 WASM 和 WebGPU 打包并运行大型模型的需要，从而降低延迟、减少成本，并通过本地处理敏感数据来提升隐私保护。

工作原理

该 API 提供统一的接口（LanguageModel）来与内置模型进行交互。开发者可以创建会话，发送提示（可以是单个字符串，也可以是包含角色如 "system"、"user" 和 "assistant" 的结构化消息），并接收响应。它支持标准响应和流式结果，以提供更好的用户体验。

关键技术能力包括：

• 采样参数：可控制 temperature 和 topK 以调整模型行为。
• 工具使用：可定义外部 JavaScript 函数（工具），让模型调用以获取实时数据或执行操作。
• 多模态输入：支持在文本提示之外传递图像和音频片段。
• 会话管理：支持克隆会话以提高效率，并管理上下文窗口限制。

适用人群

希望在网页应用中集成 AI 功能（如文本摘要、翻译、内容生成等）但又不想承担管理自有 AI 基础设施或支付云 API 令牌费用的网页开发者。

亮点

• 本地执行：支持离线使用和敏感数据的本地处理。
• 模型无关：将模型管理（下载、更新等）从开发者抽象出来。
• 工具集成：允许模型调用 JavaScript 函数，与网页应用的其他部分交互。
• 多模态支持：可将文本、图像和音频作为单一提示的输入。
• 标准化接口：旨在通过 Web Machine Learning Community Group 实现跨浏览器互操作性。