moritzkremb/jev-voice-browser

解决的问题

此项目提供了一种实时通过语音指令控制网页浏览器的方法。它允许用户免手操作，进行网站导航、搜索信息、点击元素以及管理标签页，并且具备在用户说完完整句子前就执行指令的能力。

运作原理

该系统使用 Node.js 服务器，通过 Playwright 控制一个有界面的 Chromium 窗口。它将浏览器 Web Speech API 的语音流传输至服务器，随后将转录内容发送给 Jev 模型 (由 TypeSafe 开发)。

模型不会生成文本，而是回答一系列类型化的问题 (例如：“这是指令吗？”、“意图是什么？”) 来决定动作。服务器会维护当前页面的状态、可用元素的快照以及近期动作的历史记录，以解析如“不，是另一个”这类依赖上下文的指令。策略引擎随后会决定是否执行、等待更多语音，或针对破坏性动作要求确认。

目标客群

寻求语音控制网页浏览体验的用户、对 LLM 驱动的浏览器自动化感兴趣的开发者，以及探索实时界面低延迟意图识别的人士。

特色亮点

• 实时执行：根据部分转录内容采取行动，以减少感知延迟。
• 上下文感知：记忆先前的页面与动作，以处理修正与相对参照。
• 零文本生成：使用类型化概率而非生成式文本，以确保可靠性并精确提取搜索查询与 URL。
• 安全闸道：针对破坏性动作 (如下单) 要求语音确认。
• 消歧机制：当模型不确定要点击哪个元素时，会在网页上提供编号覆盖层。