Sharrnah/whispering-ui

解决的问题

Whispering Tiger UI 为 Whispering Tiger 应用程序提供原生 Windows 界面，使用户能够轻松实时转录和翻译音频流或游戏内图像。它消除了管理后端平台的复杂性，使用户无需深厚的专业技术知识即可配置音频设备、AI 模型和输出方式。

工作原理

该 UI 作为 Whispering Tiger 后端的控制面板。它允许用户选择音频输入/输出设备，选择 AI 模型的大小和精度（用于 GPU 的 CUDA 或 CPU），并通过 Websockets 或 OSC 设置输出通道（如 Web 浏览器或 VRChat）。它还支持回环音频设备以直接捕获 PC 音频。

适用对象

需要对来自计算机的音频或屏幕文本 (OCR) 进行实时翻译和转录的玩家、主播以及 VRChat 等虚拟现实平台的用户。

亮点

• 多模态 AI 能力：支持语音转文本、文本翻译、文本转语音以及游戏内图像的图像转文本 (OCR)。
• 通过插件扩展：包括对 Emotion Prediction、RVC (Retrieval-based Voice Conversion) 和 LLM 集成的支持。
• 硬件加速：支持 NVIDIA GPU 的 CUDA，以提高转录速度并降低延迟。
• 灵活的输出：使用 Websockets 或 OSC 将结果发送到 Web 浏览器或 VRChat。