google-gemini/gemini-live-api-examples

何を解決するか

このリポジトリは、低遅延でリアルタイムの音声および動画インタラクションを可能にするGemini Live APIの実装例を提供します。継続的な音声、動画、テキストのストリームを同時に処理できる、自然で人間らしい会話型AIエージェントの構築という課題を解決します。

動作方法

以下の技術仕様に基づいて、複数の実装パスを提供しています。

• プロトコル： 実時間ストリームを維持するための状態保持型WebSocket接続（WSS）を使用。
• 入出力： ロウ16ビットPCM音声（16kHz入力、24kHz出力）、JPEG画像/動画（最大1FPS）、テキストを処理。
• 実装例： Gen AI SDKを使用したPythonバックエンド、Pythonバックエンドと組み合わせたJavaScriptフロントエンド（ローカルWebSocket）、PythonおよびNode.jsでの最小限のコマンドラインアプリ。

対象ユーザー

eコマース（ショッピングアシスタント）、ゲーム（インタラクティブなNPC）、ロボット工学、医療（患者サポート）、教育（AIメンター）など、リアルタイムのマルチモーダルエージェントを構築する開発者。

特徴

• 多言語対応： 70か国語で会話可能。
• バージンイン： ユーザーがモデルの応答を中断して、より応答性の高いインタラクションを可能に。
• ツール利用： 関数呼び出しとGoogle検索との統合により、動的なインタラクションを実現。
• 音声トランスクリプション： ユーザーおよびモデルの出力のリアルタイムテキスト変換を提供。
• プロアクティブ音声： モデルが応答するタイミングと文脈を制御可能。