fikrikarim/parlor

解決する課題

Parlorは、GPT-Liveに似た、完全オンデバイスのリアルタイム・マルチモーダルAI体験を提供します。クラウドサービスに依存することなく、音声とカメラを通じてAIと対話できるため、低遅延とプライバシーを確保しながら、割り込み（AIの会話を中断すること）やハンズフリーのターン・テイキングといった複雑なインタラクションをサポートします。

仕組み

Parlorは、カスケードシステムを使用してマルチモーダル入力を処理し、レスポンスを生成します：

1. 入力処理: ブラウザベースのフロントエンドがオーディオ（PCM）とカメラフレーム（JPEG）をキャプチャし、WebSockets経由でFastAPIサーバーに送信します。
2. ターン検出: Silero VADが初期の無音検出を行い、smart-turn-v3がユーザーが実際に思考を終えたかどうかを判断して、早すぎる中断を防ぎます。
3. コアモデル: Gemma 4（llama.cpp経由）が音声および視覚データを処理し、テキストの返答を生成します。
4. 音声生成: Kokoro TTSがテキストを音声に変換し、即時再生のために文章ごとにストリーミングでブラウザに送信します。
5. アクション処理: 制御用のマークアップが音声に混ざらないよう、別の文法強制JSONヘッドが非音声アクション（タイマーやモード切り替えなど）を管理します。
6. オプションのリサーチ: APIキーが設定されている場合、会話を継続しながらバックグラウンドのReasonerがフロンティアモデルを使用してウェブリサーチを実行できます。

対象者

Apple Silicon (MacBook M3 Pro) または GPU搭載のLinux上で動作する、高性能なローカル・マルチモーダルAIアシスタントを求める開発者やAI愛好家、およびプロプライエタリな音声AIサービスの自己ホスト可能な代替手段を好む方々。

ハイライト

• 完全ローカル: Gemma 4とKokoro TTSを使用し、100%オンデバイスで動作。
• リアルタイム・インタラクション: 割り込み（barge-in）および、トランスクリプトと音声の両方の低遅延ストリーミングをサポート。
• ハンズフリー: 高度なターン検出により、思考の途中の休止とターンの終了を区別。
• 特化型モード: 逐次通訳用のライブ翻訳モードと、静かな書き取り用の「リスニングのみ」モードを搭載。
• 統合ツール: タイマーとバックグラウンドのウェブリサーチを内蔵。