JMS1717/ming-voice

解決する課題

Ming Voiceは、完全に自身のハードウェア上で動作する、完全ローカルかつリアルタイムの音声アシスタントを提供します。クラウドベースの音声サービスを不要にし、音声や個人データがマシンから外部へ流出することを防ぎつつ、ホームオートメーションや日常タスクのための低遅延なインタラクションを実現します。

仕組み

このプロジェクトは、GPU上で音声をローカル処理する音声対音声（speech-to-speech）モデルを使用しています。ユーザーの声を聴き取り、スマートなターン検出機能を使用して話し終えたタイミングを判断し、音声で応答を生成します。ブラウザ、専用デスクトップクライアント、またはHome Assistantへの統合を通じて利用可能です。ウェブ検索、天気、タイマー、リスト、そして照明、サーモスタット、メディアプレーヤーなどのスマートホームデバイスを制御するためのツールをサポートしています。

対象ユーザー

強力なGPU（AMDまたはNVIDIA）を搭載し、プライベートで常時稼働する音声アシスタントを求めるユーザー向けに設計されています。外部のクラウドプロバイダーに依存することなく、スマートホームの制御、個人のリマインダー管理、ウェブ検索を行いたい方に最適です。

ハイライト

• 高速な応答時間: 通常、話し終えてから約0.25秒で応答を開始します。
• 自然な会話: アシスタントが話している最中の割り込みをサポートし、ウェイクワードを繰り返すことなくフォローアップの質問に対応します。
• ローカルファーストのプライバシー: 音声データはマシンから一切外部へ送信されません。ウェブツールが有効な場合にのみ、検索クエリが外部サービスに送信されます。
• 広範な統合: Home Assistantデバイス、Jellyfinメディアサーバーの制御に加え、個人のリスト、タイマー、メモリを管理します。
• 柔軟なデプロイ: LinuxおよびWindows（WSL2経由）で動作し、音声クローンをサポートしており、ホームネットワーク経由でモバイルデバイスからもアクセス可能です。