webmachinelearning/prompt-api

解決的問題

本專案提出一種標準化的 JavaScript API，讓網頁開發者能直接存取瀏覽器或作業系統內建的語言模型。它消除了開發者依賴雲端 AI API 或手動使用 WASM 和 WebGPU 打包並執行大型模型的需要，從而降低延遲、減少成本，並透過在本地處理敏感資料來提升隱私保護。

工作原理

該 API 提供統一的介面（LanguageModel）來與內建模型互動。開發者可建立會話，傳送提示（可為單一字串，或包含角色如 "system"、"user" 和 "assistant" 的結構化訊息），並接收回應。支援標準回應與串流結果，以提供更佳的使用者體驗。

主要技術功能包括：

• 取樣參數：可控制 temperature 和 topK 以調整模型行為。
• 工具使用：可定義外部 JavaScript 函數（工具），讓模型呼叫以取得即時資料或執行操作。
• 多模態輸入：支援在文字提示之外傳遞影像與音訊片段。
• 會話管理：支援克隆會話以提升效率，並管理上下文視窗限制。

適用對象

希望在網頁應用中整合 AI 功能（如文字摘要、翻譯、內容產生等）但又不願承擔管理自有 AI 基礎設施或支付雲端 API 金鑰費用的網頁開發者。

亮點

• 本地執行：支援離線使用與敏感資料的本地處理。
• 模型無關：將模型管理（下載、更新等）從開發者抽象化。
• 工具整合：允許模型呼叫 JavaScript 函數，與網頁應用的其他部分互動。
• 多模態支援：可將文字、影像與音訊作為單一提示的輸入。
• 標準化介面：旨在透過 Web Machine Learning Community Group 實現跨瀏覽器相容性。