royshil/obs-localvocal

解决的问题

LocalVocal 是一款提供实时语音转文本转录和翻译的 OBS 插件。它允许主播和内容创作者在不依赖云服务的情况下在屏幕上生成实时字幕或将其保存到文件中，从而确保隐私并消除网络延迟或成本。

工作原理

该插件通过 Whisper.cpp 集成了 OpenAI 的 Whisper 模型，以便在 CPU 和 GPU 上进行高效的本地执行。对于翻译，它利用 CTranslate2。它支持广泛的硬件加速后端，包括 CUDA (NVIDIA)、hipBLAS (AMD)、Metal (Apple Silicon) 和 Vulkan，使其可以在各种硬件配置上运行，而无需高性能 GPU。

适用对象

专为需要对其音频流进行实时、私密、本地多语言转录和翻译的 OBS Studio 用户设计。

亮点

• 本地处理：所有数据都保留在机器上，不需要云端成本、网络连接或 GPU（尽管支持 GPU 加速）。
• 多语言支持：转录 100 种语言的音频并实时翻译字幕。
• 灵活的输出：字幕可以作为 OBS 文本源显示，保存到.txt 或.srt 文件，或通过 RTMP 流发送到 YouTube 和 Twitch 等平台。
• 硬件通用性：支持 Windows、macOS 和 Linux 上的大量 CPU 和 GPU 后端。
• 可定制模型：用户可以下载内置的 Whisper 模型或提供自己的 GGML Whisper 模型文件。