royshil/obs-localvocal

OBS plugin for local speech recognition and captioning using AI

解決的問題

LocalVocal 是一款提供即時語音轉文字轉錄與翻譯的 OBS 插件。它允許實況主與內容創作者在不依賴雲端服務的情況下,在螢幕上生成即時字幕或將其儲存至檔案中,從而確保隱私並消除網路延遲或成本。

工作原理

該插件透過 Whisper.cpp 整合了 OpenAI 的 Whisper 模型,以便在 CPU 與 GPU 上進行高效的本地執行。對於翻譯,它利用 CTranslate2。它支援廣泛的硬體加速後端,包括 CUDA (NVIDIA)、hipBLAS (AMD)、Metal (Apple Silicon) 與 Vulkan,使其可以在各種硬體配置上執行,而不需要高階 GPU。

適用對象

專為需要對其音訊串流進行即時、私密、本地多語言轉錄與翻譯的 OBS Studio 使用者設計。

亮點

  • 本地處理:所有數據都保留在機器上,不需要雲端成本、網路連接或 GPU(儘管支援 GPU 加速)。
  • 多語言支援:轉錄 100 種語言的音訊並即時翻譯字幕。
  • 靈活的輸出:字幕可以作為 OBS 文字來源顯示,儲存至.txt 或.srt 檔案,或透過 RTMP 串流傳送到 YouTube 與 Twitch 等平台。
  • 硬體通用性:支援 Windows、macOS 與 Linux 上的大量 CPU 與 GPU 後端。
  • 可自訂模型:使用者可以下載內建的 Whisper 模型或提供自己的 GGML Whisper 模型檔案。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案