Carleslc/AudioToText

解决的问题

AudioToText 简化了将音频文件转换为书面文字并进行翻译的过程。它提供了一个统一的界面，使用 OpenAI 的 Whisper 进行转录和翻译成英文，并整合 DeepL 以翻译成其他目标语言。

运作方式

该项目提供了一个基于 Python 的工具（可作为 CLI、Jupyter Notebook 或 Google Colab 使用），利用 Whisper 模型从各种语言转录音频或直接翻译成英文。为了支持翻译成英文以外的语言，它会将转录内容通过 DeepL API 进行处理。它可以输出多种格式的结果，包括纯文本 (TXT)、WebVTT (VTT)、SubRip (SRT)、TSV 和 JSON。

适用对象

需要转录音频或为视频和音频文件生成多语言字幕，且不想进行复杂设置的内容创作者、研究人员和开发人员。

特色亮点

• 多模型支持：可在开源 Whisper 模型（tiny, base, small, medium, large, turbo）或 OpenAI API 之间进行选择。
• 广泛的语言支持：通过 Whisper 从多种语言转录音频并翻译成英文，或通过 DeepL 翻译成其他多种语言。
• 字幕生成：生成 VTT 和 SRT 文件，适用于 VLC 等媒体播放器。
• 灵活部署：可通过 CLI 在本地运行，在 Google Colab 中使用云端 GPU，或在 Jupyter 环境中运行。
• Apple Silicon 优化：支持 MLX，可在 Mac M1/M2/M3/M4 芯片上实现更快的推理速度。