Softcatala/whisper-ctranslate2

解决的问题

Whisper-ctranslate2 是 OpenAI Whisper 的高性能命令行客户端，旨在减少音频转录和翻译所需的时间和内存。它通过利用 CTranslate2 和 Faster-whisper 解决了原始 OpenAI 实现的推理速度缓慢问题。

运作方式

此项目使用 CTranslate2 引擎和 Whisper 模型的 Faster-whisper 实现。它支持各种硬件优化（Intel MKL、oneDNN、OpenBLAS、Ruy 和 Apple Accelerate）以及量化（例如 int8），以加速 CPU 和 GPU 上的执行。它保持与原始 OpenAI Whisper CLI 的兼容性，方便迁移。

适用对象

需要快速、高效音频转文字和翻译的用户，特别是在有限硬件上运行或处理大量音频文件的用户。

重点特色

• 高性能：比原始 OpenAI Whisper 快 4 倍，通过批量推理可进一步提升速度（最高 16 倍）。
• 说话人分离：与 pyannote.audio 集成，可识别音频录音中的不同说话人。
• VAD 过滤器：使用 Silero VAD 过滤非语音片段，以提升转录质量。
• 实时转录：支持直接从麦克风进行实时转录。
• 灵活部署：提供 Python 包或包含预加载模型的 Docker 镜像。
• 自定义模型：可从本地目录加载微调或量化的 Whisper 模型。