Gemini 3.5 Transcribe 릴리스 노트

Google DeepMind는 원시 오디오를 정교하고 형식화된 텍스트로 직접 변환할 수 있도록 설계된 고정밀 음성-텍스트 모델인 Gemini 3.5 Transcribe를 발표했습니다. 이 모델은 이전 버전보다 배경 잡음, 복잡한 전문 용어, 그리고 말문이 막히는 표현(예: '음', '아' 같은 채움 말과 자기 수정)을 더 잘 처리하여 실시간 음성 상호작용에 적합한 깔끔한 녹취본을 생성합니다.

개발자 접근성 및 API 구현

Gemini 3.5 Transcribe는 개발자 워크플로우에 따라 두 가지 별개의 API를 통해 제공됩니다:

실시간 스트리밍 (gemini-3.5-transcribe-live): Live API를 통해 제공되며, 상호작용이 필요한 음성 애플리케이션을 위한 서브초 단위 지연 시간의 지속적 양방향 스트리밍을 제공합니다.
사전 녹음된 오디오 처리 (gemini-3.5-transcribe): Interactions API를 통해 제공되며, 녹음된 오디오, 회의, 통화 기록에 최적화되어 화자 식별 및 단어 수준 타임스탬프 기능을 제공합니다.

개발자들은 Google AI Studio의 Gemini API와 Gemini Enterprise Agent Platform을 통해 이 모델에 접근할 수 있습니다.

기술적 기능 및 성능

Gemini 3.5 Transcribe는 이전의 Chirp 3 모델보다 여러 가지 '스마트 녹취' 기능과 성능 향상을 도입했습니다.

녹취 정밀도 및 지능성

말문 막힘 정리: 모델은 채움 말(예: '음', '아')을 자동으로 제거하고, 자기 수정(예: '화요일에 만나자—아니, 수요일에')을 처리합니다.
사용자 정의 어휘: 제공된 사용자 정의 어휘 목록을 통해 전문 용어와 고유한 철자법에 적응합니다.
다국어 지원: 85개 이상의 언어를 자동으로 감지하고 녹취하며, 다양한 지역적 억양과 방언을 지원합니다.
다중 화자 식별: 사전 녹음된 오디오의 경우, 최대 3명의 화자에게 발화를 할당하고 타임스탬프를 제공합니다(3명 이상의 화자 지원은 현재 실험적입니다).
함수 호출: Gemini macOS 앱에서 모델은 파일 분석이나 이미지 생성과 같은 복잡한 작업을 다른 Gemini 모델에 함수 호출을 통해 위임할 수 있습니다.

벤치마크 및 정확도

Artificial Analysis 측정 기준으로, Gemini 3.5 Transcribe는 실시간 사용 사례에서 평균 단어 오류율(WER)이 4.0%이며, 비실시간 사용 사례에서는 2.6%를 기록했습니다. 주요 언어 및 지역에서의 FLEURS 벤치마크에서 실시간 모드는 5.50% WER, 비실시간 모드는 5.04% WER를 달성했습니다.

Chirp 3에 비해 최종 녹취까지의 시간이 70% 개선되었습니다.

제품 통합

Gemini 3.5 Transcribe는 여러 Google 서비스에 통합되어 맥락 인식 음성 상호작용을 가능하게 합니다:

Gboard (Android): 'Rambler' 기능은 모델을 사용해 말하는 생각을 형식화된 텍스트로 변환하고, 음성 기반 편집 및 스타일 변경을 가능하게 합니다.
Google Antigravity: 모델은 화면 맥락과 채팅 기록을 활용해 파일 이름과 활성 문서에 대한 녹취 정확도를 높입니다.
Gemini 앱 (macOS): 자연스러운 음성 녹취 및 음성 명령을 지원하며, 화면 맥락과 결합해 로컬 파일 요약 또는 이미지 생성이 가능합니다.
Google AI Studio: Build 모드에서 음성 기반 애플리케이션 개발('바이브 코딩')을 위한 기능으로 제공됩니다.
Chrome: 곧 출시 예정으로, 모델을 통해 웹 필드에서 '말해서 입력' 기능을 제공할 예정입니다.

생태계 채택

Agora, Fishjam, LangChain, LiveKit, Pipecat, Vercel, Vision Agents 등의 개발자 플랫폼이 Gemini Live API를 통합하여 음성 기반 인터페이스의 배포를 촉진하고 있습니다. 또한 Vivo, Intellitek Health, Lingopal과 같은 기업들은 모델의 지연 시간과 언어 지원 측면에서 긍정적인 결과를 보고했습니다.