google-gemini/gemini-live-api-examples

해결하는 문제

이 저장소는 저지연, 실시간 음성 및 비디오 상호작용을 가능하게 하는 Gemini Live API의 구현 예제를 제공합니다. 지속적인 오디오, 비디오, 텍스트 스트림을 동시에 처리할 수 있는 자연스럽고 인간처럼 대화하는 AI 에이전트를 구축하는 문제를 해결합니다.

작동 방식

다음 기술 사양에 기반하여 여러 구현 경로를 제공합니다.

• 프로토콜: 실시간 스트림을 유지하기 위해 상태 기반 WebSocket 연결(WSS)을 사용합니다.
• 입출력: 원시 16비트 PCM 오디오(16kHz 입력, 24kHz 출력), JPEG 이미지/비디오(최대 1FPS), 텍스트를 처리합니다.
• 구현 예제: Gen AI SDK를 사용한 Python 백엔드, Python 백엔드와 함께 사용하는 JavaScript 프론트엔드(로우 레벨 WebSocket), Python 및 Node.js로 작성된 최소한의 명령줄 앱이 포함되어 있습니다.

대상 사용자

전자상거래(쇼핑 어시스턴트), 게임(상호작용 NPC), 로봇공학, 헬스케어(환자 지원), 교육(AI 멘토) 등 실시간 다중 모달 에이전트를 개발하는 개발자들입니다.

주요 특징

• 다국어 지원: 70개 이상의 언어로 대화 가능.
• 인터럽트 기능: 사용자가 모델의 응답을 중단하여 더 반응성이 높은 상호작용을 가능하게 합니다.
• 도구 사용: 함수 호출 및 Google 검색과의 통합을 통해 동적 상호작용을 구현합니다.
• 오디오 전사: 사용자 및 모델 출력의 실시간 텍스트 전사 제공.
• 프로액티브 오디오: 모델이 언제, 어떤 맥락에서 응답할지 제어할 수 있습니다.