amywork777/lipflow

何を解決するか

Lipflow は、ユーザーが声を出さずにマイクを使わず、任意のアプリケーションにテキストを入力できるようにします。Webcam で唇の動きを読み取ることで、音声が許可されないまたは望まない環境での静音コミュニケーションとテキスト入力を可能にします。

動作方法

システムはWebcamでユーザーの顔のライブ映像をキャプチャします。MediaPipe FaceLandmarker を使ってリアルタイムで口元を切り出して抽出します。この切り出し画像は、Visual Speech Recognition (VSR) エンコーダー（Auto-AVSR をベース）と、ビームサーチを用いたTransformerデコーダーによって、唇の形状をテキストに変換します。

精度を向上させるために、以下の複数層の最適化が行われます：

• LLM クリーンアップ：多くの音声が唇の見た目では同一に見えるため、LLM（Claude、MLX/Ollama を通じたローカルな Qwen モデル、または基本的なルール）がトップの推測結果を分析し、最も可能性の高い文を特定します。
• パーソナライズ：アプリは、例えば Wispr Flow からの発話履歴をインポートでき、ユーザーが練習用の文を録音することで、自分の顔の特徴や発話スタイルに合わせて唇読みモデルと言語モデルを微調整できます。
• Whisper モード：唇読みと静かな音声入力を組み合わせるオプションモードで、大幅に精度が向上します。

対象ユーザー

Mac、Windows、Linux 上で静音でテキストを入力したい人、また視覚的音声認識技術に興味がある人。

特徴

• クロスプラットフォーム：macOS、Windows、Linux をサポート。
• ローカル実行：主にデバイス上で実行され、クリーンアップ用にローカル LLM をオプションで利用可能。
• カスタマイズ可能：カスタム単語を定義でき、自分の顔の動きでモデルをトレーニング可能。
• 統合ワークフロー：任意のアクティブなアプリケーションでカーソル位置に直接テキストを貼り付けます。