beiyege-01/dsh-voice-ai-girlfriend

解決する課題

AIとのテキストチャットは遅く、無機質です。このプロジェクトはDeepSeek Harnessに音声入出力機能を追加し、AIと会話してその声を聞くことを可能にします。また、音声に合わせてリップシンクするデジタルヒューマンのアバターを表示することで、AIに視覚的な存在感を与えます。PCから離れているユーザー向けに、メッセージやボイスメモをQQに転送することもできます。

仕組み

このプラグインはDeepSeek Harness (DSH) 上で動作します。独立したブリッジサービス (Python/FastAPI) が主要な処理を担います。マイク音声をキャプチャし、FunASRによる中国語音声認識でテキスト化し、そのテキストをDSHの会話に送信します。その後、AIの返答を受け取り、OmniVoice（またはフォールバックとしてQwen3-TTS）で音声に変換してスピーカーから再生します。デジタルヒューマンモードが有効な場合、音声はDUIXエンジンにも送信され、リップシンクされたアバター動画がサイドウィンドウで再生されます。ブリッジは割り込みロジックも管理しており、ユーザーが話すとAIは話すのをやめて聞き取ります。別のQQブリッジにより、スマートフォンからAIとチャットでき、AIはテキストと音声メッセージで応答します。

対象ユーザー

DeepSeek Harnessを既に使用しており、より自然な音声主導の対話を求める人向けです。NVIDIA GPUを搭載したWindows PC（16GB VRAM推奨）が必要で、TTSエンジン用にWSL2、デジタルヒューマン用にDocker、オプションでQQ連携用にNapCatQQのセットアップが必要です。ホビーユーザー向けですが、ある程度の技術的知識が求められます。

ハイライト

• 高速応答：音声認識は約150ms、話すのをやめてから約0.5秒で音声出力が開始されます。
• ノイズフィルタリング：-35dBのノイズゲートとsilero VADを使用し、背景音でAIが誤作動するのを防ぎます。
• 音声クローン：自分の声（または任意の声）のサンプルを提供すれば、AIはその声で話します。
• ストリーミングデジタルヒューマン：返答は10秒以下のセグメントに分割され、リップシンク付きでシームレスに生成・再生されます。
• 割り込み処理：AIが話している最中に話しかけると、AIは停止して聞き取ります。
• 話していない時に待機アニメーションを表示する常駐アバターウィンドウ。
• QQ連携：音声や画像を含むメッセージの送受信が可能。
• 全スタックを一括起動できる簡単なワンクリック起動スクリプト。