Gemini 2.5 Flash Native Audio 發布：增強即時語音代理與即時語音翻譯

TL;DR

Google DeepMind 發布了 Gemini 2.5 Flash Native Audio，這是一個升級的即時語音模型，提升了函式呼叫、指令遵循以及多輪對話品質，並新增支援超過 70 種語言的即時語音對語音翻譯。

Gemini 2.5 Flash Native Audio 總覽

Gemini 2.5 Flash Native Audio 是 DeepMind 音訊為中心的 Gemini 模型的最新版本。它專為即時語音代理設計，現在透過 Google AI Studio、Vertex AI、Gemini Live 和 Search Live 普遍提供。此版本擴展了模型的功能，超越富有表現力的文字轉語音，加入穩健的對話處理與即時語音翻譯。

技術改進

更精準的函式呼叫

  • 模型現在能更可靠地辨識何時應該呼叫外部函式。
  • 在 ComplexFuncBench Audio 評估中，Gemini 2.5 Flash Native Audio 得分 71.5 %，位居基準榜首。

強健的指令遵循

  • 開發者提供的指令遵循度提升至 90 %，較先前版本的 84 % 有所提高。
  • 這意味著對複雜提示產生更完整且可預測的音訊輸出。

更流暢的多輪對話

  • 對話輪次間的情境檢索增強，產生更具連貫性且自然的互動。
  • 當模型將即時資訊整合到回應時，使用者會體驗到更少的流程中斷。

即時語音代理使用案例

該模型支撐廣泛的對話體驗，從 Gemini Live 的腦力激盪會議到 Search Live 的即時協助。企業可將模型嵌入客戶服務管道，使代理聽起來自然、能應對嘈雜環境，並即時切換語言。

客戶見證

“使用者常常在使用 Sidekick 一分鐘內就忘記自己正在與 AI 對話…透過 Gemini 2.5 Flash Native Audio 提供的新 Live API AI 功能，使我們的商家能夠獲勝。” – David Wurtz, VP of Product, Shopify

“透過整合 Gemini 2.5 Flash Native Audio 模型…我們顯著提升了 Mia 的能力…為經紀合作夥伴產生了超過 14,000 筆貸款。” – Jason Bressler, CTO, United Wholesale Mortgage

“透過 Vertex AI 使用 Gemini 2.5 Flash Native Audio 模型，使 Newo.ai AI 接待員能夠達到無與倫比的對話智慧…即使在嘈雜環境中也能識別主要說話者、在對話中途切換語言，並聽起來極其自然且富有情感表達。” – David Yang, 聯合創辦人, Newo.ai

即時語音翻譯

Gemini 現在提供原生的即時語音對語音翻譯，具有兩種模式：

  • 持續聆聽 – 將任何語言的環境語音翻譯為單一目標語言，讓使用者戴上耳機即可以偏好語言聽見世界。
  • 雙向對話 – 根據說話者動態切換輸出語言，實現無縫雙語對話（例如 英語 ↔ 印地語）。

核心翻譯功能

功能 描述
語言覆蓋 支援超過 70 種語言和 2,000 語言對，利用 Gemini 的多語言知識。
風格轉移 保留語調、節奏和音高，使翻譯後的語音聽起來自然。
多語言輸入 在單個會話內處理多種來源語言。
自動偵測 自動偵測說話語言，無需手動選擇。
噪聲鲁棒性 過濾環境噪聲，在嘈雜環境中提供清晰的翻譯。

Beta 版體驗目前在 Google Translate 應用程式中提供（Android 版已在美國、墨西哥和印度推出；iOS 及其他地區即將推出）。回饋將指導進一步整合，包括規劃於 2026 年發布 Gemini API。

開始使用

開發者可透過以下方式開始使用 Gemini 2.5 Flash Native Audio 建立語音代理：

  • Vertex AI – 適用於生產工作負載的一般可用性。
  • Gemini API 預覽版 – 可透過 Gemini API 文件存取。
  • Google AI Studio – 用於快速原型製作的互動遊樂場。

Gemini 2.5 Flash 和 Gemini 2.5 Pro 的文字轉語音模型也可透過 Gemini API 取得，附有完整的文件、提示指南以及範例筆記本的食譜。

意義

此次發布標誌著從靜態文字轉語音轉向完全互動、以音訊為首的 AI 體驗。透過結合可靠的函式呼叫、高指令忠誠度以及即時多語言翻譯，Gemini 2.5 Flash Native Audio 能夠提供更自然、企業級的語音代理，並為全球溝通開闢新途徑，特別是在視覺介面不切實際的情境下。

參考資料

Sources