pretyflaco/millet

它解决了什么问题

Millet 是一款用于从任何语音或视频通话应用中录制、转录和总结会议的工具。它通过提供说话人分离的转录文本和 AI 生成的摘要，消除了手动记笔记的需求，同时通过使用本地模型或硬件认证的安全飞地（TEE）优先考虑用户隐私。

它是如何工作的

• 音频捕获：它在操作系统层面捕获系统音频（在 Linux 上通过 PipeWire/PulseAudio），在单独的信道上录制用户的麦克风和远程参与者。
• 转录：它使用 WhisperX 进行快速、批量的转录，带有词级时间戳，并支持超过 90 种语言。
• 说话人分离：它使用 pyannote-audio 来识别不同的说话人，自动将本地用户标记为“YOU”，将其他人标记为“REMOTE”。
• 总结：摘要使用本地 Ollama 模型或私有的、硬件认证的 Tinfoil TEE（可信执行环境）生成，以确保提示永远不会离开安全飞地。
• 视觉集成：对于有旁白的屏幕录制，它可以从视频中采样关键帧，并将其发送给具有视觉能力的 AI 模型，以描述屏幕上发生的事情以及转录文本。
• 输出：该工具生成专业的 PDF、SRT 字幕、JSON 和 Markdown 文件，并带有结构化的 YAML frontmatter，便于下游索引。

它适合谁

需要跨任何会议平台（Zoom、Teams、Meet 等）获得高质量、私密的会议记录和摘要的专业人士和团队，以及那些更喜欢离线优先或硬件安全的 AI 处理的人。

亮点

• 应用无关：适用于任何通过系统扬声器播放音频的应用。
• 隐私优先：没有可以读取会议的云后端；使用本地模型或 TEE。
• 多模态总结：可以将转录文本与屏幕帧相结合，以获得更准确的技术演示摘要。
• 说话人识别：使用声纹嵌入自动识别不同会议中的已知说话人。
• 专业输出：生成干净、带页码的 PDF，完全支持 Unicode 和 RTL 语言（如波斯语）。
• GTK3 图形界面：包含一个小型、始终置顶的小部件，便于录制和访问结果。