tmoroney/auto-subs

解决的问题

AutoSubs 是一款本地优先的 AI 字幕生成器，允许用户在不将数据发送到云端的情况下对音频和视频文件进行转录。它消除了对昂贵订阅服务的需求，并通过在设备上处理所有转录和翻译任务来确保隐私。

工作原理

该应用程序利用多个本地 AI 模型进行语音转文本和说话人识别。它使用 whisper-rs 来运行 OpenAI 的 Whisper 模型，并使用 ONNX Runtime 来运行包括 Moonshine、Parakeet、Canary 和 Cohere 在内的多种其他模型。它还结合了用于语音活动检测的 Silero VAD 模型和用于识别并标记不同说话人的专用说话人日志（diarization）模型。

适用人群

需要高质量、私密本地转录的内容创作者、视频编辑师和翻译人员。它专门设计用于与 DaVinci Resolve、Adobe Premiere Pro 和 Adobe After Effects 等专业视频编辑软件集成。

亮点

• 本地优先处理： 所有转录和翻译都在设备上完成，确保数据不会离开机器。
• 广泛的模型支持： 支持多种模型（Whisper, Moonshine, Parakeet, SenseVoice, Canary, Cohere, GigaAM），以适应不同的语言和准确度水平。
• 专业集成： 与 DaVinci Resolve 直接连接，并提供适用于 Adobe Premiere Pro 和 After Effects 的 CEP 扩展。
• 说话人日志： 能够识别并标记不同的说话人，以便进行针对每个说话人的样式设置。
• 跨平台： 支持 macOS、Windows 和 Linux。