xAI Voice Agent Builder Beta Release
xAI 推出了 Voice Agent Builder 的测试版,这是一个无代码平台,旨在允许开发人员和运营人员使用 Grok Voice 配置生产级语音代理。该平台通过将电话通信、知识检索、工具、护栏和可观测性集成到一个单一界面中,消除了从头开始构建复杂周边技术栈的需求。
Native Speech-to-Speech Architecture
Voice Agent Builder 利用了专为 Grok Voice 构建的语音到语音路径,而不是传统的将语音转文本、语言模型和文本转语音三个独立的 API 拼接在一起的方法。通过将模型与语音路径紧密耦合,xAI 旨在降低与多提供商 API 跳转相关的成本、延迟和故障模式。
Performance Benchmarks on Complex Calls
为了应对现实世界电话通信中的挑战——例如低质量音频、背景噪声、强重音和中断——Grok Voice 在高难度通话中进行了训练。性能通过模拟这些条件的 τ-voice Bench 进行衡量。根据 xAI 排行榜,Grok Voice Think Fast 1.0 获得了 67.3% 的评分,显著优于 Gemini 3.1 Flash Live (43.8%) 和 GPT Realtime 1.5 (35.3%)。
Agent Configuration and Capabilities
用户可以通过提供通话流程的自然语言描述并附加必要资源,在大约两分钟内部署一个可运行的代理。
Knowledge Base and Retrieval
代理基于知识库运行,用户可以在其中上传 Markdown、plain text、Word、PowerPoint、Excel、HTML 和 JSON 等格式的文档。这些文档被组织成集合,允许在多个代理之间共享策略和产品规格,以确保一致性。
Tool Integration and Actionability
代理可以通过工具和连接器执行操作,使其能够:
- 通过 Google Calendar 或 Outlook Calendar 安排预约。
- 通过电子邮件提供商发送确认信息。
- 通过 API 请求检查订单状态或办理退款。
- 使用 web search 或 X search 检索当前公开信息。
- 在 Linear 或 Notion 中管理工单。
- 从 Google Drive 或 OneDrive 访问文件。
- 将通话转接到人类团队成员或干净地结束通话。
Voice Customization and Telephony
代理可以使用内置语音或通过两分钟音频创建的自定义品牌语音克隆。连接选项包括免费提供的电话号码、来自主要电话通信提供商现有号码的直接 SIP 连接,或通过 WebSocket 进行基于浏览器的测试。
Observability and Guardrails
每次通话都会被记录并转录,允许运营人员通过查看音频、阅读转录文本并检查工具使用情况来进行审查。该平台包含护栏机制,以防止代理执行禁止的操作,例如讨论剧本之外的话题或读出信用卡号。
Pricing Model
Voice Agent Builder 按每分钟音频 0.05 美元的 API 费率计费,包含语音功能且不收取单独的平台费。在免费提供的电话号码上进行电话通信的费用为每分钟额外增加 0.01 美元。
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch