katipally/openlive

Opensource, on-device voice + vision layer for AI agents. Bring any model or coding agent; the whole speech loop (VAD, STT, TTS, barge-in) runs locally. An open alternative to ElevenLabs Agents, Gemini Live, and OpenAI Realtime.

解决的问题

通过语音和视觉与 AI 智能体交互通常成本高昂,且需要将音频数据发送到云端平台。OpenLive 用一个本地的开源替代方案取代了这些专有的计费管道,直接在您的机器上处理所有语音活动检测、语音转文字和文字转语音任务。

工作原理

OpenLive 为您的 AI 提供了一个本地的“耳朵、嘴巴和眼睛”层。它使用级联管道(语音转文字,然后是模型,最后是文字转语音)来处理交互。您可以将其连接到您自己的各种 AI 模型 API 密钥,或使用 Agent Client Protocol 将其链接到现有的编程智能体(如 Claude Code 或 Cursor)。由于它在本地运行,您的音频永远不会离开您的计算机;只有最终的转录文本和可选的视觉帧会被发送给 AI 提供商。

适用人群

它专为希望通过语音控制编程智能体、自动化机器任务或进行听写,且不想支付按分钟计算的音频费用或牺牲隐私给云端语音平台的开发者和高级用户而设计。

亮点

  • 三种模式: Chat(语音通话)、Flow(可在您的机器上执行操作的系统级语音助手)和 Dictate(适用于任何输入字段的语音转文字)。
  • 本地处理: 语音活动检测、语音转文字(Whisper/Nemotron 等)和文字转语音(Kokoro/Piper 等)完全在您的硬件上运行。
  • 智能体集成: 可与 Claude Code、GitHub Copilot 和 Cursor 等编程智能体配合使用,让您能够通过语音驱动它们的操作并听到进度播报。
  • 隐私至上: 音频永远不会离开您的机器,API 密钥在存储时会被加密。
  • 可定制: 支持语音克隆、多种语言,并能够为您的智能体切换特定的工具和功能。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目