Sharrnah/whispering-ui

解决的问题

Whispering Tiger UI 为本地 AI 驱动的音频转录、翻译和文本转语音提供了一个用户友好的桌面界面。它消除了对命令行工具的需求，允许用户在本地和离线状态下处理音频流（麦克风或桌面音频）和图像（OCR），并可与外部输出集成，例如通过 OSC 连接 VRChat 或通过 WebSockets 实现浏览器叠加。

如何工作

该项目由一个原生 Go/Fyne UI 组成，连接到 Python 后端。它支持多种计算设备，包括 CPU、NVIDIA CUDA 以及通过 audio.cpp 支持 AMD 和 Intel 硬件的 Vulkan。用户可以创建配置文件，设置音频输入/输出设备，选择 AI 模型及其精度，并管理插件以扩展功能。

适用人群

需要实时转录和翻译自己声音或系统音频的 Windows 和 Linux 用户，以及希望将 AI 音频工具集成到 VRChat 等虚拟环境中的用户。

主要亮点

• 本地处理：AI 模型在初始下载后可在本地离线运行。
• 多硬件支持：兼容 NVIDIA CUDA、AMD、Intel 和 Vulkan。
• 多功能音频捕获：支持 Windows 的 WASAPI 循环回放和 Linux 的 PulseAudio/PipeWire 以捕获桌面音频。
• 可扩展性：包含插件系统，支持情感预测、RVC（基于检索的语音转换）和 LLM 集成等功能。
• 集成 OCR：能够识别并翻译游戏内图像中的文本。