QwenAudio/qwen-audio-agent

Qwen Audio Agent – 実時間音声優先AIアシスタント

何であるか – 低遅延の双方向音声でAIエージェント（例：Qwen 3.5-Omni、Qwen Audio）と対話できるNode.jsベースのランタイム。会話を続けながら、エージェントがバックグラウンドタスク（コード生成、ファイル編集、Web検索など）を実行し、その進捗を同じ音声チャットにリアルタイムで報告できます。このシステムはコマンドラインゲートウェイ、Web UI、ターミナルTUI、macOS/Windows/Linux用の浮遊デスクトップ「オーブ」として利用可能です。

主な機能

• 双方向リアルタイム音声 – 応答を待たずに話したり、割り込んだり、アシスタントの声を聞くことができます。
• リアルタイムモデルカタログ – 共有カタログからDashScope Qwen AudioまたはQwen 3.5-Omniのリアルタイムモデルを選択できます。
• バックエンドエージェント統合 – ACPアーキテクチャを介してコード中心のエージェント（Qwen Code、OpenCode、Kimi Code、DeepSeekなど）を接続可能。フロントエンドはバックエンドなしのフロントエンド専用モードでも動作します。
• 並列タスク処理 – 複数の独立したタスクを起動し、ライブ進捗カードを監視、状態を確認、またはいつでもキャンセル可能。結果は自動的に音声で報告されます。
• クロスプラットフォームUI – Web UI、ターミナルTUI、カスタムスキンとペットアニメーションを備えたデスクトップ浮遊オーブ。
• パーソナライズと記憶 – ユーザーごとの長期的な設定と、セッション間で保持されるローカルメモリファイル。
• 拡張可能なゲートウェイ – 「スキル」、ツールアダプタ、カスタム音声フロントエンド（完全ローカルの音声から音声変換スタックを含む）のワンクリックインストール。

導入方法

1. npmでグローバルインストール（Node 22.22.2+が必要）:

   npm install -g qwen-audio-agent
   

2. 設定ウィザードを実行してDashScope APIキーを保存し、リアルタイムモデルを選択:

   qwenaudio config
   

3. ゲートウェイ（音声とバックエンドエージェントを仲介するローカルサーバー）とUIを起動:

   qwenaudio          # ゲートウェイ起動
   qwenaudio tui      # ターミナルUIを開く（または `qwenaudio webui` でブラウザ版）
   

   macOS/Windows/Linuxでは npm run desktop でデスクトップオーブを起動、またはリリースページから事前ビルド済みインストーラーをダウンロードできます。

一般的な利用シーン

• デスクトップ生産性 – コード生成、ファイル編集、長時間のビルド中でもアシスタントと会話可能。"コンパイルはどのくらい進んでいますか？"と尋ねると、音声で進捗を報告。
• スマートコックピット – 車両ナビゲーション、音楽、天気、即時購入フローの音声制御（examples/carに例として提供）。
• カスタマーサポートボット – 自然な会話のまま、エージェントが注文照会やチケット作成をバックグラウンドで実行。
• 身体化エージェントおよびライブストリームアシスタント – 音声チャットと物理的行動、またはライブストリームとの連携。タスクの一時停止、再開、キャンセルが可能。

アーキテクチャの概要

• フロントエンド（音声） – マイク音声をキャプチャ、VADを実行し、リアルタイムモデル（DashScopeまたはローカル音声から音声）に音声/テキストを送信。
• ゲートウェイ – メッセージをルーティングし、タスクのライフサイクルを管理、ユーザーごとのメモリを維持する中心的なNodeプロセス。
• バックエンドエージェント – オプションのACP互換エージェントで、推論、ツール使用、コード生成を実行。ゲートウェイは複数のエージェントを並列で実行可能。

拡張性

• 組み込みスキルマネージャーで新しいスキル（ツールアダプタ）を追加。
• 完全ローカルの音声から音声変換スタックに音声フロントエンドを切り替え（クラウドキー不要）。
• ランタイム状態に反応するカスタムデスクトップスキンやペットアニメーションを作成。

コミュニティとサポート

• バグや機能リクエストはGitHub Issues。
• 中国語コミュニティチャットはリポジトリ内のQRコードから参加可能（WeChatグループ）。
• 詳細ドキュメント：ユーザーガイド、クイックスタート、アーキテクチャの詳細解説、プライバシー通知。

ライセンス – Apache 2.0。

---

上記のすべての情報はリポジトリのREADMEから直接取得しており、外部の仮定は一切加えていません。