JMS1717/ming-voice

해결하는 문제

Ming Voice는 사용자 자신의 하드웨어에서 완전히 실행되는 로컬 실시간 음성 비서를 제공합니다. 클라우드 기반 음성 서비스에 대한 의존성을 제거하여 오디오와 개인 데이터가 기기 밖으로 나가지 않도록 보장하며, 홈 자동화 및 일상 업무를 위한 저지연 상호작용을 제공합니다.

작동 방식

이 프로젝트는 GPU에서 오디오를 로컬로 처리하는 음성 대 음성(speech-to-speech) 모델을 사용합니다. 사용자의 음성을 듣고 스마트 턴 감지 기능을 사용하여 말하기가 끝난 시점을 판단한 뒤 음성 응답을 생성합니다. 브라우저, 전용 데스크톱 클라이언트, 또는 Home Assistant 통합을 통해 사용할 수 있습니다. 웹 검색, 날씨, 타이머, 목록 관리 및 조명, 온도 조절기, 미디어 플레이어와 같은 스마트 홈 기기를 제어하는 도구를 지원합니다.

대상 사용자

강력한 GPU(AMD 또는 NVIDIA)를 갖추고 비공개로 항상 실행되는 음성 비서를 원하는 사용자를 위해 설계되었습니다. 외부 클라우드 제공업체에 의존하지 않고 스마트 홈을 제어하거나, 개인 알림을 관리하거나, 웹 검색을 수행하려는 사용자에게 이상적입니다.

주요 특징

• 빠른 응답 시간: 일반적으로 문장을 마친 후 약 0.25초 이내에 응답을 시작합니다.
• 자연스러운 대화: 비서가 말하는 도중 끼어들기를 지원하며, 호출어를 반복하지 않고도 후속 질문을 처리할 수 있습니다.
• 로컬 우선 개인정보 보호: 오디오 데이터는 기기 밖으로 나가지 않습니다. 웹 도구가 활성화된 경우에만 검색어만 외부 서비스로 전송됩니다.
• 광범위한 통합: Home Assistant 기기 및 Jellyfin 미디어 서버를 제어하며, 개인 목록, 타이머, 메모리를 관리합니다.
• 유연한 배포: Linux 및 Windows(WSL2 경유)에서 작동하며, 음성 복제를 지원하고 홈 네트워크를 통해 모바일 기기에서도 액세스할 수 있습니다.