TheDeathDragon/LiveTranslate

Real-time audio translation, captures system audio + mic, runs ASR (Whisper/SenseVoice), translates via LLM API with streaming display. Perfect for VTubers, livestreamers, and watching foreign content. Windows 实时音频翻译,ASR 语音识别后 LLM 流式翻译显示,适合 VTuber、主播和外语视频观看。

解决的问题

LiveTranslate 为 Windows 用户提供实时音频翻译功能,可实时翻译系统音频(如视频、直播流和语音聊天)以及麦克风输入,无需修改原始媒体播放器。

工作原理

该应用程序通过 WASAPI 回环捕获系统音频,并可选地捕获麦克风输入。随后,音频通过一个包含语音活动检测(VAD)(使用 Silero)、自动语音识别(ASR)(通过 faster-whisper 或 SenseVoice 等引擎)以及通过任意 OpenAI 兼容 LLM API 进行翻译的处理管道。最终翻译结果以透明、始终置顶的叠加层形式显示在屏幕上。

适用人群

专为需要实时字幕的 Windows 用户设计,适用于来自计算机上任何来源的外语音频,包括游戏玩家、国际直播观众以及语音聊天用户。

主要亮点

  • 多引擎 ASR 支持:兼容多种引擎,包括 faster-whisper、SenseVoice、FunASR Nano 和 Anime-Whisper。
  • 灵活的翻译能力:支持任意 OpenAI 兼容 API(如 DeepSeek、GPT、Ollama、vLLM)。
  • 低延迟:使用 32ms 音频块和自适应静音检测,实现快速处理。
  • 可自定义叠加层:提供可点击穿透、可拖拽的透明叠加层,支持 14 种不同配色主题。
  • 硬件加速:支持 CUDA,实现 GPU 加速的 ASR 推理。
  • 远程卸载:可通过 HTTP 将 ASR 任务卸载到另一台 GPU 机器上。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目