KoljaB/RealtimeVoiceChat
Have a natural, spoken conversation with AI!
해결하는 문제
이 프로젝트는 AI와 자연스럽고 음성 기반의 실시간 대화를 제공합니다. 음성을 캡처하고 AI 모델을 통해 처리하며 음성 응답을 스트리밍하여 타이핑의 필요성을 없애고 유창하고 상호작용적인 대화를 가능하게 합니다.
작동 방식
이 시스템은 클라이언트-서버 아키텍처를 사용합니다. 브라우저가 오디오를 캡처하여 WebSockets를 통해 Python 백엔드로 보냅니다. 백엔드는 음성-텍스트 변환을 사용하여 음성을 텍스트로 변환하고, 텍스트를 LLM(예: Ollama 또는 OpenAI)에 보내 응답을 생성한 다음, 텍스트-음성 변환을 사용하여 응답을 다시 오디오로 변환합니다. 시스템은 중단을 처리하도록 설계되어 인간과 대화하듯 AI에게 말을 걸 수 있습니다.
대상 사용자
음성 지원 AI 인터페이스를 구축하거나 실험하려는 사용자를 위한 것입니다. 특히 NVIDIA GPU를 보유한 사용자와 같은 기술적 설정에 익숙한 사람에게 적합합니다. 시스템이 음성 처리 및 텍스트 생성을 위해 무거운 기계 학습 모델에 의존하기 때문입니다.
주요 기능
- 동적 턴테이킹과 침묵 감지를 통한 유창한 실시간 대화.
- 로컬(Ollama) 및 클라우드(OpenAI) 모델을 모두 지원하는 플러그형 AI 백엔드.
- Kokoro, Coqui, Orpheus와 같은 여러 엔진을 지원하는 사용자 정의 가능한 음성 합성.
- WebSockets를 통한 오디오 청크 스트리밍을 사용하는 저지연 아키텍처.
- 표준 브라우저 오디오 API를 사용하는 간단한 웹 기반 인터페이스.
- 의존성 관리를 용이하게 하는 Docker Compose를 통한 컨테이너화된 배포.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트