QwenAudio/qwen-audio-agent

A realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents

解決する課題

Qwen Audio Agentは、AIとの会話における「待ち時間」を解消するリアルタイム音声ランタイムを提供します。エージェントがバックグラウンドタスクの実行、ツールの呼び出し、複雑な情報の処理を行う際に発生する会話の途切れを解決し、作業中もアシスタントが常に存在し、対話可能な状態を維持します。

仕組み

このプロジェクトは、音声フロントエンドとバックエンドエージェントを分離する3層アーキテクチャを採用しています。音声フロントエンドは即時かつ全二重のリアルタイム対話（聞き取りと発話）を処理し、バックエンドエージェントは非同期タスク（ツール使用、ファイル操作、コーディング）を実行します。これにより、ユーザーはバックエンドエージェントが作業している間も会話を続けたり、進捗状況を尋ねたりすることができ、完了すると結果が自然に会話へ戻ります。

対象ユーザー

デスクトップ生産性向上ツール、スマートコックピット、カスタマーサービス、および将来的な具身化AI（Embodied Intelligence）向けの音声駆動型AIアシスタントを構築する開発者、ならびに既存のAIエージェントに永続的で低遅延な音声インターフェースを導入したいユーザー向けに設計されています。

主な特徴

  • 全二重対話： 自然な割り込みと、持続的なマルチターン音声会話をサポート。
  • モジュール式フロントエンド： さまざまなクラウドサービス（Qwen, OpenAI, Gemini, Doubao, StepAudio）およびローカルデプロイ（Hugging Face Speech-to-Speech, MiniCPM-o）と互換性があります。
  • エージェント統合： ACPアーキテクチャを通じて、幅広いバックエンドエージェント（例：Qwen Code, Claude Code, DeepSeek Harness）をワンクリックで統合可能。
  • マルチプラットフォームUI： WebUI、ターミナルTUI、およびmacOS、Windows、Linux用のデスクトップフローティングオーブを提供。
  • セッション間メモリ： ユーザーごとの長期的なパーソナライゼーションとメモリ機能を搭載。

関連

  • プロジェクト
    QwenLM/qwen-code

    ターミナル、エディタ、チャットアプリに統合可能なオープンソースAIコーディングエージェントフレームワークで、複数のLLMプロバイダーとローカルモデルをサポートします。

  • Dispatch
    Qwen の紹介：包括的な LLM と LMM フレームワーク

    Qwen は、AGI を目指すプロジェクトであり、多言語対応の大規模言語モデル（LLM）と大規模マルチモーダルモデル（LMM）を一連に提供します。オープンソース版は 1.8B から 72B パラメータまでのモデルが含まれます。

  • Dispatch
    Qwen2-Audio リリースノート

    Qwen2-Audioは、音声チャットと音声分析が可能な音声言語モデルで、8以上の言語と方言に対応し、複数のベンチマークで従来の最先端性能を上回ります。

  • プロジェクト
    zhayujie/CowAgent

    CowAgent は、タスクの計画、ツールの実行、個人ナレッジベースの維持、協調エージェントのチームとしての運用が可能な、オープンソースのセルフホスト型 AI アシスタントです。多数の LLM プロバイダー、マルチモーダル入力、数十のチャットチャネル（Telegram、Slack、WeChat など）、プラグインスキルシステム、夜間の「Deep Dream」蒸留を備えた 3 層メモリをサポートしています。ワンライナースクリプトまたは Docker でインストールし、Web コンソールですべてを管理し、公開 Skill Hub またはカスタムツール統合を通じてシステムを拡張できます。

  • プロジェクト
    Pinvou/pinvou-agent

    Pinvou Agent は、会話型モデルで作業、デザイン、コードを可能にするクロスプラットフォームデスクトップAIアシスタントです。永続的なワークスペース、ファイル添付、ローカル知識ベース、ペルソナカード、拡張可能なプラグインシステム（スキル、MCPサーバー、CLIツール）を提供します。UIは React + Vite で構築され、Tauri 2 でラップされており、Rustベースの CodeWhale エンジンがモデル呼び出しとツール実行を処理します。任意の OpenAI互換エンドポイントまたはローカルの vLLM サーバーで動作し、すべてのユーザーデータは `~/.pinvou3/` に保持されます。MITライセンスで、積極的にメンテナンスされています。