moritzkremb/jev-voice-browser

解決する課題

このプロジェクトは、音声コマンドを使用してリアルタイムでWebブラウザを制御する方法を提供します。ユーザーはハンズフリーでWebサイトのナビゲーション、情報検索、要素のクリック、タブ管理を行うことができ、ユーザーが文を言い終える前であってもコマンドを実行する能力を備えています。

仕組み

このシステムは、Node.jsサーバーを使用してPlaywright経由でChromiumウィンドウを制御します。ブラウザのWeb Speech APIからの音声をサーバーにストリーミングし、その文字起こしをJevモデル (TypeSafe製) に送信します。

モデルはテキストを生成する代わりに、一連の型付き質問 (例：「これはコマンドですか？」、「意図は何ですか？」) に回答してアクションを決定します。サーバーは現在のページのステータス、利用可能な要素のスナップショット、最近のアクションの履歴を保持し、「いいえ、あっちの方」といった文脈依存のコマンドを解決します。ポリシーエンジンは、実行するか、さらなる音声を待つか、あるいは破壊的なアクションに対して確認を求めるかを判断します。

対象ユーザー

音声制御によるWebブラウジング体験を求めるユーザー、LLM駆動のブラウザ自動化に関心のある開発者、およびリアルタイムインターフェースのための低遅延な意図認識を研究している方々。

ハイライト

• リアルタイム実行: 部分的な文字起こしに基づいて行動し、知覚される遅延を低減します。
• 文脈認識: 前のページやアクションを記憶し、修正や相対的な参照を処理します。
• テキスト生成ゼロ: 生成テキストではなく型付き確率を使用することで、信頼性を確保し、検索クエリやURLを正確に抽出します。
• 安全ゲート: 破壊的なアクション (注文の確定など) には音声による確認を必須とします。
• 曖昧さ回避: モデルがどの要素をクリックすべきか確信が持てない場合、Webページ上に番号付きのオーバーレイを表示します。