bigsk1/voice-chat-ai

解決する課題

Voice Chat AIは、AIキャラクターと自然な音声会話を行うための手段を提供します。音声認識（STT）、大規模言語モデル（LLM）、音声合成（TTS）を単一のインターフェースに統合することで、タイピングの手間を省き、ユーザーが多様な個性を持つキャラクターと対話したり、インタラクティブなゲームや物語を楽しんだりすることを可能にします。

仕組み

このシステムは、複数のAIサービス間のオーケストレーターとして機能します。ユーザーの音声をキャプチャし、OpenAIまたはローカルのFaster Whisperを使用して文字起こしを行い、選択したLLM（OpenAI、xAI、Anthropic、Ollamaなど）を通じてテキストを処理し、TTSプロバイダー（ElevenLabs、Spark-TTS、Kokoro、OpenAIなど）を使用して音声応答を合成します。また、即時かつ中断可能な会話を実現するOpenAIのWebRTC Realtime APIをサポートしており、ユーザーの気分に基づいてAIの応答を調整する感情分析機能も含まれています。

対象ユーザー

没入感のあるAIコンパニオン体験を求めるユーザー、ロールプレイヤー、そして音声対話のためにローカルモデルとクラウドベースのAIモデルを組み合わせて実験したい開発者向けに設計されています。

ハイライト

• マルチプロバイダー対応: LLM（OpenAI、xAI、Anthropic、Ollama）とTTSエンジン（ElevenLabs、Kokoro、Spark-TTSなど）を自由に組み合わせて使用可能。
• リアルタイム対話: 低遅延で中断可能な音声対話を実現するOpenAIのRealtime APIをサポート。
• ローカル実行: OllamaやローカルTTSモデルを使用してすべてをローカルで実行するオプションがあり、プライバシーの保護とコスト削減が可能。
• キャラクター主導: 多数の組み込みキャラクターと、インタラクティブなゲームやストーリーテリングのための専用モードを搭載。
• 視覚認識: LLaVAやOpenAIを使用して、特定の音声コマンドによりユーザーの画面を分析可能。
• 柔軟なデプロイ: Web UI、ターミナル、Docker経由で利用可能。