QwenAudio/qwen-audio-agent

A realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents

解决的问题

Qwen Audio Agent 提供了一个实时语音运行时，避免了 AI 对话中的“等待游戏”。它解决了当代理需要执行后台任务、调用工具或处理复杂信息时所产生的对话中断问题，确保助理在后台工作时仍能保持存在感与交互性。

运作原理

该项目采用三层架构，将语音前端与后端代理分离。语音前端处理即时的全双工交互（聆听与说话），而后端代理则执行异步任务（工具使用、文件处理、编程）。这让用户可以在后端代理执行任务时继续聊天或询问进度，任务完成后结果会自然地回到对话中。

适用对象

专为开发者设计，适用于构建桌面生产力、智能座舱、客户服务以及潜在的具身智能语音 AI 助理，也适合希望为现有 AI 代理提供持久、低延迟语音界面的用户。

特色亮点

  • 全双工交互： 支持自然的打断与持续的多轮语音对话。
  • 模块化前端： 兼容于各种云端服务（Qwen, OpenAI, Gemini, Doubao, StepAudio）与本地部署（Hugging Face Speech-to-Speech, MiniCPM-o）。
  • 代理集成： 通过 ACP 架构，可一键集成多种后端代理（例如 Qwen Code, Claude Code, DeepSeek Harness）。
  • 多平台 UI： 提供 WebUI、终端 TUI 以及适用于 macOS、Windows 和 Linux 的桌面悬浮球。
  • 跨会话记忆： 包含长期的用户个性化设置与记忆功能。

相关

  • 项目
    QwenLM/qwen-code

    一个可集成到终端、编辑器和聊天应用中的开源 AI 编码代理框架，支持多种 LLM 提供商和本地模型。

  • Dispatch
    介绍 Qwen：全面的 LLM 与 LMM 框架

    Qwen 是一个面向 AGI 的项目，包含一系列多语言的大型语言模型（LLMs）和大型多模态模型（LMMs），其中包括参数规模从 1.8B 到 72B 的开源版本。

  • Dispatch
    Qwen2-Audio 发布说明

    Qwen2-Audio 是一种音频语言模型，能够进行语音聊天和音频分析，支持超过八种语言和方言，在多个基准测试中超越了之前的最先进性能。

  • 项目
    zhayujie/CowAgent

    CowAgent 是一个开源、自托管的 AI 助手，可规划任务、运行工具、维护个人知识库，并能以多代理协作团队的形式运作。它支持多种 LLM 提供商、多模态输入、数十种聊天渠道（Telegram、Slack、微信等）、插件技能系统，以及具有夜间“Deep Dream”蒸馏功能的三层记忆。可通过一行命令或 Docker 安装，通过网页控制台管理一切，并可通过公开的 Skill Hub 或自定义工具集成来扩展系统。

  • 项目
    Pinvou/pinvou-agent

    Pinvou Agent 是一个跨平台桌面 AI 助手，让你能用对话模型工作、设计或编码。它提供持久工作区、文件附件、本地知识库、角色卡和可扩展插件系统（技能、MCP 服务器、CLI 工具）。UI 使用 React + Vite 构建，由 Tauri 2 包装，而基于 Rust 的 CodeWhale 引擎负责模型调用和工具执行。它可在任何 OpenAI 兼容端点或本地 vLLM 服务器上运行，所有用户数据均保留在 `~/.pinvou3/`。MIT 许可证，持续维护中。