KoljaB/RealtimeVoiceChat

Have a natural, spoken conversation with AI!

解決する問題

このプロジェクトは、AIと自然で音声によるリアルタイムな会話を提供します。音声をキャプチャし、AIモデルで処理し、音声応答をストリーミング返すことで、タイピングの必要性を排除し、流暢でインタラクティブな対話を可能にします。

仕組み

このシステムはクライアント・サーバーアーキテクチャを使用します。ブラウザが音声をキャプチャし、WebSocketsを介してPythonバックエンドに送信します。バックエンドは音声認識を使用して音声をテキスト化し、そのテキストをLLM(OllamaやOpenAIなど)に送信して応答を生成し、テキスト読み上げを使用して応答を音声に変換します。システムは割り込みを処理するように設計されており、人間と話すようにAIに話しかけることができます。

対象ユーザー

音声対応AIインターフェースを構築または実験したいユーザー向けです。特にNVIDIA GPUを持つユーザーなど、技術的なセットアップに慣れている人に最適です。システムは音声処理とテキスト生成に重い機械学習モデルに依存しているためです。

ハイライト

  • 動的なターンテイキングと無音検出による流暢なリアルタイム会話。
  • ローカル(Ollama)とクラウド(OpenAI)モデルの両方をサポートするプラグ可能なAIバックエンド。
  • Kokoro、Coqui、Orpheusなどの複数のエンジンをサポートするカスタマイズ可能な音声合成。
  • WebSocketsを介した音声チャンクストリーミングを使用した低遅延アーキテクチャ。
  • 標準のブラウザ音声APIを使用したシンプルなWebベースのインターフェース。
  • 依存関係管理を容易にするDocker Composeによるコンテナ化されたデプロイ。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト