amywork777/lipflow

解决的问题

Lipflow 允许用户在不发声或使用麦克风的情况下，向任何应用程序输入文本。通过使用网络摄像头读取唇部动作，它在不允许或不希望产生声音的环境中，实现了静音通信和文本输入。

工作原理

系统通过网络摄像头实时捕获用户面部的视频。使用 MediaPipe FaceLandmarker 实时分离并裁剪出嘴部区域。这些裁剪区域由视觉语音识别（VSR）编码器（基于 Auto-AVSR）和带有束搜索的 Transformer 解码器处理，将唇形转换为文本。

为提高准确性，项目采用了多层优化：

• LLM 清理：由于许多发音在唇部看起来相同，LLM（如 Claude、通过 MLX/Ollama 的本地 Qwen 模型，或基本规则）会分析最佳猜测，以确定最可能的句子。
• 个性化：该应用可导入字幕历史记录（例如来自 Wispr Flow），并允许用户录制练习句子，以根据其特定面部特征和表达方式微调唇读模型和语言模型。
• Whisper 模式：一种可选模式，结合唇读与轻微音频输入，显著提高准确率。

适用人群

希望在 Mac、Windows 或 Linux 上静音输入文本，或对视觉语音识别技术感兴趣的人。

主要亮点

• 跨平台：支持 macOS、Windows 和 Linux。
• 本地运行：主要在设备上运行，可选本地 LLM 支持用于清理。
• 可自定义：用户可定义自定义词汇，并用自己的面部动作训练模型。
• 集成工作流：直接将文本粘贴到任何活动应用程序的光标位置。