webmachinelearning/prompt-api

何を解決するか

このプロジェクトは、ブラウザやオペレーティングシステムに直接組み込まれた言語モデルに直接アクセスできる標準化された JavaScript API を提案しています。開発者がクラウドベースの AI API に依存する必要がなくなり、WASM や WebGPU を使って大規模モデルを手動でバンドル・実行する手間も省けます。これにより、レイテンシを低減し、コストを削減し、機密データをローカルで処理することでプライバシーを向上させます。

動作方法

API は一貫したインターフェース（LanguageModel）を提供し、組み込みモデルとやり取りできます。開発者はセッションを作成し、プロンプト（単一の文字列または「system」、「user」、「assistant」などの役割を持つ構造化されたメッセージ）を送信し、応答を受信できます。標準的な応答に加え、ストリーミング結果のサポートにより、より良いユーザー体験が実現されます。

主な技術的機能は以下の通りです：

• サンプリングパラメータ：temperature と topK を制御することで、モデルの挙動を調整可能。
• ツールの使用：モデルがリアルタイムデータを取得またはアクションを実行するために呼び出せる外部 JavaScript 関数（ツール）を定義可能。
• マルチモーダル入力：テキストプロンプトに加えて、画像や音声クリップを同時に渡すサポート。
• セッション管理：効率性のためセッションをクローン可能で、コンテキストウィンドウの制限を管理可能。

対象ユーザー

自前の AI インフラを管理する手間やクラウド API トークンのコストを避けたい、Web アプリケーションにテキスト要約、翻訳、コンテンツ生成などの AI 機能を統合したい Web 開発者。

特徴

• ローカル実行：オフライン利用と機密データのローカル処理を可能に。
• モデル非依存：モデルの管理（ダウンロード、更新など）を開発者から抽象化。
• ツール統合：モデルが JavaScript 関数を呼び出して Web アプリケーションの他の部分と連携可能。
• マルチモーダル対応：テキスト、画像、音声を単一のプロンプトに統合して入力可能。
• 標準化インターフェース：Web Machine Learning Community Group を通じたクロスブラウザ相互運用性を目指す。