ShayneP/local-voice-ai

解决的问题

Local Voice Agent 是一个完全在您自己的硬件上运行的私有、低延迟语音助手。它通过将语音识别、语言模型和语音生成整合到一个受监督的应用程序中，消除了对云语音服务的需求。

工作原理

该项目使用本地 AI 模型的模块化堆栈来处理语音交互循环：

• 语音识别 (STT): 使用 Nemotron Q8 进行流式识别（Whisper 作为手动回退），通过在用户说话时发送部分转录文本，确保低延迟。
• 语言模型 (LLM): 由 llama.cpp 驱动，根据所选硬件配置运行本地 LLM，如 Qwen3 或 Gemma 4。
• 语音生成 (TTS): 使用 Kokoro（或 Kokoro ONNX）进行本地语音合成。
• 编排： 由 LiveKit Agents 驱动，管理实时通信和流式传输。

适用人群

希望在离线或本地网络中使用私有语音助手的用户，特别是拥有 NVIDIA GPU、Apple Silicon 或 NVIDIA Jetson Orin Nano 设备的用户。

主要亮点

• 硬件感知配置： 根据检测到的内存和设备类型，自动选择模型堆栈（轻量、紧凑、平衡）。
• 低延迟： 通过 Nemotron 实现的流式语音识别，比传统的“等待完整语句”系统响应更快。
• 跨平台支持： 支持 Linux CPU、NVIDIA 桌面、Apple Silicon 和 Jetson Orin 的原生设置。
• 远程客户端模式： 允许语音服务器在高性能设备（如 Jetson）上运行，而用户界面在笔记本电脑浏览器中运行。
• 灵活配置： 可通过环境变量将本地服务替换为外部 API（例如 LiveKit Cloud）。