beiyege-01/dsh-voice-ai-girlfriend

해결하는 문제

AI와 텍스트로 대화하는 것은 느리고 비인격적입니다. 이 프로젝트는 DeepSeek Harness에 음성 입력 및 출력 기능을 추가하여 AI와 대화하고 그 목소리를 들을 수 있게 합니다. 또한 음성에 맞춰 입 모양이 동기화되는 디지털 휴먼 아바타를 통해 AI에게 시각적인 존재감을 부여합니다. 컴퓨터에서 멀리 떨어져 있는 사용자를 위해 메시지와 음성 메모를 QQ로 전송할 수도 있습니다.

작동 방식

이 플러그인은 DeepSeek Harness (DSH) 위에서 작동합니다. 별도의 브리지 서비스 (Python/FastAPI)가 핵심 작업을 처리합니다. 마이크 오디오를 캡처하고, FunASR을 사용한 중국어 음성 인식을 통해 텍스트로 변환한 뒤, 해당 텍스트를 DSH 대화로 보냅니다. 그 후 AI의 응답을 받아 OmniVoice(또는 대체제로 Qwen3-TTS)를 사용하여 음성으로 변환하고 스피커를 통해 재생합니다. 디지털 휴먼 모드가 활성화되면 음성이 DUIX 엔진으로 전송되어 입 모양이 동기화된 아바타 영상이 사이드 윈도우에서 재생됩니다. 브리지는 중단 로직도 관리하여, 사용자가 말하면 AI가 말을 멈추고 듣습니다. 별도의 QQ 브리지를 통해 휴대폰으로 AI와 채팅할 수 있으며, AI는 텍스트와 음성 메시지로 응답합니다.

대상 사용자

이미 DeepSeek Harness를 사용 중이며 더 자연스럽고 음성 중심적인 상호작용을 원하는 분들을 위한 프로젝트입니다. NVIDIA GPU가 탑재된 Windows PC(16GB VRAM 권장)가 필요하며, TTS 엔진을 위한 WSL2, 디지털 휴먼을 위한 Docker, 그리고 선택적으로 QQ 연동을 위한 NapCatQQ 설정이 필요합니다. 취미 수준의 설정이지만 어느 정도의 기술적 숙련도가 요구됩니다.

주요 특징

• 빠른 응답: 음성 인식은 약 150ms, 말을 멈춘 후 약 0.5초 만에 음성 출력이 시작됩니다.
• 노이즈 필터링: -35dB 노이즈 게이트와 silero VAD를 사용하여 배경 소음으로 인해 AI가 작동하지 않도록 합니다.
• 음성 복제: 자신의 목소리(또는 원하는 목소리) 샘플을 제공하면 AI가 그 목소리로 말합니다.
• 스트리밍 디지털 휴먼: 응답은 10초 이하의 세그먼트로 분할되어 입 모양 동기화와 함께 매끄럽게 생성 및 재생됩니다.
• 중단 처리: AI가 말하는 도중에 말을 걸면 AI가 멈추고 듣습니다.
• 말하지 않을 때 대기 애니메이션이 표시되는 상주 아바타 윈도우.
• QQ 연동: 음성 및 이미지를 포함한 메시지 송수신 가능.
• 전체 스택을 한 번에 실행할 수 있는 간편한 원클릭 시작 스크립트.