amywork777/lipflow

해결하는 문제

Lipflow는 사용자가 소리를 내거나 마이크를 사용하지 않고도 어떤 애플리케이션에 텍스트를 입력할 수 있도록 합니다. 웹캠을 통해 입술의 움직임을 읽어내어 소리가 허용되지 않거나 원하지 않는 환경에서 조용한 커뮤니케이션과 텍스트 입력을 가능하게 합니다.

작동 방식

시스템은 웹캠을 통해 사용자의 얼굴 실시간 영상을 캡처합니다. MediaPipe FaceLandmarker를 사용해 실시간으로 입술 부위를 분리하고 자르며, 이 자르기 영상은 Visual Speech Recognition (VSR) 인코더(기반: Auto-AVSR)와 비음역(beam search)을 사용하는 Transformer 디코더를 통해 입술 모양을 텍스트로 변환합니다.

정확도를 높이기 위해 여러 단계의 개선이 적용됩니다:

• LLM 정리: 많은 발음이 입술 모양으로는 동일하게 보이기 때문에, LLM(Claude, MLX/Ollama를 통한 로컬 Qwen 모델, 또는 기본 규칙)이 최상위 추측 결과를 분석하여 가장 가능성 높은 문장을 결정합니다.
• 개인화: 앱은 사전 기록된 발화 기록(예: Wispr Flow)을 가져올 수 있으며, 사용자가 연습 문장을 녹음함으로써 자신의 얼굴 특성과 발화 스타일에 맞게 입술 인식 모델과 언어 모델을 세밀하게 조정할 수 있습니다.
• Whisper 모드: 입술 인식과 약한 음성 입력을 결합하는 선택적 모드로 정확도가 크게 향상됩니다.

대상 사용자

Mac, Windows, Linux에서 조용하게 텍스트를 입력하고 싶은 사용자, 그리고 시각적 음성 인식 기술에 관심 있는 사람.

주요 특징

• 크로스 플랫폼: macOS, Windows, Linux를 지원합니다.
• 로컬 실행: 주로 디바이스에서 실행되며, 정리용 로컬 LLM을 선택적으로 지원합니다.
• 사용자 정의 가능: 사용자 정의 단어를 정의하고, 자신의 얼굴 움직임으로 모델을 훈련할 수 있습니다.
• 통합 워크플로우: 활성화된 애플리케이션의 커서 위치에 직접 텍스트를 붙여넣습니다.