tmoroney/auto-subs

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, and After Effects.

AutoSubs – 面向视频编辑者的离线AI字幕

功能说明 AutoSubs 是一款桌面应用程序,可将音频或视频文件转换为带时间戳的字幕文件——所有操作均在您自己的计算机上完成。它可完全离线运行,支持数十种语音识别模型(包括 OpenAI Whisper、Moonshine、Parakeet、SenseVoice 等),并能自动标注说话人。生成的字幕可导出为 SRT 或纯文本格式,或直接发送至 DaVinci Resolve、Adobe Premiere Pro 和 After Effects 等主流编辑软件。

为何重要

  • 隐私优先 – 无云端调用;所有处理均在本地设备完成,对于高质量语音转文字工具而言极为罕见。
  • 创意工作流集成 – 提供行业标准 NLE 的直接插件,使编辑者无需离开时间线即可生成和微调字幕。
  • 模型灵活性 – 用户可从一系列本地模型中选择,从轻量快速模型到大型高精度 Whisper-large 或俄语、中文等专用模型,自由平衡速度、内存占用与准确率。
  • 跨平台支持 – 提供 Windows、macOS(Intel & Apple Silicon)和 Linux 的原生安装包,同时支持 Homebrew。

工作原理

  1. 在独立 UI 或通过 Resolve/Adobe 扩展中选择源文件(音频或视频)。
  2. 从内置模型管理器中选择语音识别模型;应用会按需下载模型文件。
  3. 音频输入所选模型(通过 Whisper-rs、ONNX Runtime 或其他后端运行)。VAD 模型分离出语音部分,说话人分离(diarization)模型标记说话人,可选地,强制对齐(forced-alignment)模型添加单词级时间戳。
  4. UI 显示生成的字幕供编辑;可调整说话人标签、时间或样式。
  5. 导出 – 保存为 SRT 文件、复制到剪贴板,或推送到 Resolve/Premiere/After Effects。

关键技术组件

  • 基于 Rust 的核心 – 使用 whisper-rs 处理 Whisper,transcribe-rs 处理 ONNX 模型,pyannote-rs 处理说话人分离。
  • 模型管理器 – 管理模型文件的按需下载、验证和缓存(大小从约 60 MB 到 >3 GB)。
  • 集成支持 –
    • DaVinci Resolve:Lua 服务器 + Fusion 宏,允许应用读取时间线音频并写入字幕轨道。
    • Adobe:CEP 扩展,与 Premiere Pro/After Effects 通信以导入/导出 SRT。
  • CLI – 完整的命令行接口,适用于脚本或无头使用(参见 CLI.md)。

适合人群

  • 不愿支付云服务费用,但需要快速准确字幕的视频编辑者。
  • 关注数据隐私的内容创作者。
  • 希望拥有本地运行的语音转文字栈,并可通过开源 Rust 代码扩展应用的开发者。

快速上手 从发布页面下载合适的安装包(macOS 用户可使用 brew install --cask auto-subs)。启动后,按照 README 中的快速入门步骤生成字幕,或查阅 CLI 指南进行批量处理。

许可证与模型条款 应用程序代码采用 MIT 许可证。语音识别模型需单独下载,并保留其原始许可证(例如 MMS 强制对齐权重为 CC BY-NC 4.0)。用户必须遵守这些模型的许可证条款。


所有信息均直接来自仓库的 README;未推断任何额外功能。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目