bigsk1/voice-chat-ai

무엇을 해결하는가

Voice Chat AI는 AI 캐릭터와 자연스럽고 말하는 대화를 나눌 수 있는 방법을 제공합니다. 텍스트 입력의 번거로움을 제거하기 위해 음성-텍스트 변환(STT), 대규모 언어 모델(LLM), 텍스트-음성 변환(TTS)을 하나의 인터페이스에 통합하여 사용자가 다양한 성격의 캐릭터와 상호작용하거나, 인터랙티브한 게임과 이야기를 즐길 수 있게 합니다.

어떻게 작동하나요

시스템은 여러 AI 서비스 간의 오케스트레이터 역할을 합니다. 사용자의 오디오를 캡처하고 OpenAI 또는 로컬 Faster Whisper를 사용해 텍스트로 변환한 후, 선택한 LLM(OpenAI, xAI, Anthropic, Ollama 등)을 통해 텍스트를 처리하고, TTS 제공업체(예: ElevenLabs, Spark-TTS, Kokoro, OpenAI 등)를 사용해 음성 응답을 생성합니다. 또한 실시간 대화를 위한 OpenAI의 WebRTC Realtime API를 지원하며, 사용자의 감정 상태에 따라 AI 응답을 조정하기 위한 정서 분석도 포함됩니다.

누구를 위한 것인가요

침몰감 있는 AI 동반자 경험을 원하는 사용자, 롤플레잉 플레이어, 그리고 로컬 및 클라우드 기반 AI 모델을 혼합하여 음성 상호작용을 실험하고 싶은 개발자들을 위한 것입니다.

주요 특징

• 다양한 제공업체 지원: LLM(OpenAI, xAI, Anthropic, Ollama 등)과 TTS 엔진(ElvenLabs, Kokoro, Spark-TTS 등)을 자유롭게 조합 가능.
• 실시간 상호작용: 낮은 지연 시간과 중단 가능한 음성 대화를 위한 OpenAI의 Realtime API 지원.
• 로컬 실행 옵션: Ollama와 로컬 TTS 모델을 사용해 모든 것을 로컬에서 실행할 수 있어 개인정보 보호와 비용 절감이 가능합니다.
• 캐릭터 중심 설계: 내장된 캐릭터가 풍부하고, 인터랙티브한 게임과 스토리텔링을 위한 전용 모드 포함.
• 시각적 인식: 특정 음성 명령을 통해 LLaVA 또는 OpenAI를 사용해 사용자의 화면을 분석할 수 있습니다.
• 유연한 배포 방식: 웹 UI, 터미널, Docker를 통해 이용 가능.

"이 시스템은 단순한 대화를 넘어서, 사용자가 진정으로 몰입할 수 있는 AI 경험을 만들어냅니다." — @handle