google-gemini/gemini-live-api-examples

解决的问题

本仓库提供了 Gemini Live API 的实现示例，该 API 可实现低延迟、实时的语音和视频交互。它解决了构建能够同时处理连续音频、视频和文本流的自然、类人对话式 AI 代理的难题。

工作原理

该项目基于以下技术规范，提供多种实现路径：

• 协议： 使用有状态 WebSocket 连接（WSS）以维持实时流。
• 输入/输出： 处理原始 16 位 PCM 音频（16kHz 输入，24kHz 输出）、JPEG 图像/视频（最高 1FPS）和文本。
• 实现示例： 包括使用 Gen AI SDK 的 Python 后端、使用原始 WebSocket 的 Python 后端与 JavaScript 前端组合，以及 Python 和 Node.js 的最小命令行应用。

适用人群

为电子商务（购物助手）、游戏（交互式 NPC）、机器人、医疗（患者支持）和教育（AI 导师）等行业构建实时多模态代理的开发者。

主要亮点

• 多语言支持： 支持 70 种语言进行对话。
• 打断功能： 允许用户中断模型，实现更快速的交互响应。
• 工具调用： 集成函数调用和 Google 搜索，实现动态交互。
• 音频转录： 提供用户和模型输出的实时文本转录。
• 主动音频： 可控制模型在何时以及何种情境下进行响应。