TheDeathDragon/LiveTranslate
Real-time audio translation, captures system audio + mic, runs ASR (Whisper/SenseVoice), translates via LLM API with streaming display. Perfect for VTubers, livestreamers, and watching foreign content. Windows 实时音频翻译,ASR 语音识别后 LLM 流式翻译显示,适合 VTuber、主播和外语视频观看。
解决的问题
LiveTranslate 为 Windows 用户提供实时音频翻译功能,可实时翻译系统音频(如视频、直播流和语音聊天)以及麦克风输入,无需修改原始媒体播放器。
工作原理
该应用程序通过 WASAPI 回环捕获系统音频,并可选地捕获麦克风输入。随后,音频通过一个包含语音活动检测(VAD)(使用 Silero)、自动语音识别(ASR)(通过 faster-whisper 或 SenseVoice 等引擎)以及通过任意 OpenAI 兼容 LLM API 进行翻译的处理管道。最终翻译结果以透明、始终置顶的叠加层形式显示在屏幕上。
适用人群
专为需要实时字幕的 Windows 用户设计,适用于来自计算机上任何来源的外语音频,包括游戏玩家、国际直播观众以及语音聊天用户。
主要亮点
- 多引擎 ASR 支持:兼容多种引擎,包括 faster-whisper、SenseVoice、FunASR Nano 和 Anime-Whisper。
- 灵活的翻译能力:支持任意 OpenAI 兼容 API(如 DeepSeek、GPT、Ollama、vLLM)。
- 低延迟:使用 32ms 音频块和自适应静音检测,实现快速处理。
- 可自定义叠加层:提供可点击穿透、可拖拽的透明叠加层,支持 14 种不同配色主题。
- 硬件加速:支持 CUDA,实现 GPU 加速的 ASR 推理。
- 远程卸载:可通过 HTTP 将 ASR 任务卸载到另一台 GPU 机器上。
相关
- 项目
- 项目
- 项目
- 项目
- 项目