jasoncheng7115/jt-live-whisper
100% 全地端 AI 語音工具箱：即時轉錄、即時翻譯、錄音檔批次處理、講者辨識、會議摘要，所有 AI 模型皆在自有設備上運行，資料不經過任何雲端服務。
jt‑live‑whisper – 本地端 AI 语音工具箱
功能说明 – 一个单机（或机器 + GPU 服务器）应用程序，可捕获系统音频、执行语音转文字、可选的说话人分离、翻译文本，并可总结会议 – 所有模型都在用户自己的硬件上运行。无需云 API。
核心功能
| 功能 | 运作方式（依 README 所述） |
|---|---|
| 实时转录与翻译 | 通过 ScreenCaptureKit（macOS）、WASAPI Loopback（Windows）或 PipeWire/PulseAudio 监听（Linux）捕获系统音频。音频馈入设备上的 ASR 模型（Whisper、Breeze‑ASR‑26、Moonshine、Qwen3‑ASR），产生的文本由本地 LLM（通过 Ollama、LM Studio 等）或离线 NLLB/Argos 模型翻译。 |
| 音频文件批处理 | 支持 mp3、wav、m4a、flac。使用 faster‑whisper（或其他引擎）进行离线转录与翻译。 |
| 说话人分离 | 使用 resemblyzer + spectralcluster 或 NVIDIA 的 Nemotron 3 Diarization 模型（自 v2.26.0 起为默认）。 |
| 会议摘要 | 将转录文本发送至本地 LLM（默认 qwen3.8:27b），由其提取决策、行动项、风险、时间线、说话人统计等。 |
| 多语言支持 | ASR：中文、日文、韩文、英文、台湾话（Breeze‑ASR‑26）。翻译：通过 NLLB 600M 进行中↔日↔韩↔英翻译；英↔中则以 Argos 作为备用。 |
| 双向字幕模式 | 同时将远程说话者的语言翻译成中文，并将本地说话者的中文翻译成远程语言（en‑zh、ja‑zh、ko‑zh）。 |
| 叠加与转发 | 可选的半透明字幕叠加（PyQt6）、关键字触发警报，以及将实时字幕转发至 Telegram、Slack、Discord、Teams、LINE 等。 |
| Web UI | 浏览器界面（./start.sh --webui），提供所有功能、显示进度，并可从手机或平板运行工具。 |
架构与模型堆栈
- ASR 引擎：
whisper.cpp（ggml，macOS）、faster‑whisper（CTranslate2，Windows/Linux，GPU）、mlx‑whisper（Apple Silicon）、Moonshine（超低延迟英文）、vLLM/mlx‑audio/transformers（实验性 Qwen3‑ASR）。 - 翻译：本地 LLM 服务器（翻译默认
gemma4:26b，摘要默认qwen3.8:27b），通过 Ollama、LM Studio、vLLM 等访问；备用为离线 NLLB 600M 或 Argos。 - 说话人分离：
resemblyzer + spectralcluster（开源）或 NVIDIA Nemotron 3 Diarization（OpenMDW‑1.1，无需 token）。 - 部署模式：
- 单机 – 所有计算在同一台 PC 上运行（CPU、Apple‑Silicon GPU 或 NVIDIA GPU）。
- 客户端 + GPU 服务器 – 笔记本捕获音频，重型 ASR/分离在局域网内的 GPU 服务器上运行。
- 无头服务器 – Linux 主机提供 Web UI；其他设备上传音频进行处理。
快速开始（README 步骤摘要）
- 一键安装 – 运行提供的
install.sh（macOS/Linux）或install.ps1（Windows）。脚本会创建 Python 3.12 虚拟环境、安装系统依赖、下载所需模型（最小约 3 GB，建议约 8 GB）。 - 音频源设置 – macOS 使用 ScreenCaptureKit（无需驱动程序）或可选的 BlackHole；Windows 使用 WASAPI Loopback；Linux 使用默认监听源。
- 可选的 LLM 服务器 – 安装 Ollama（或任何兼容的本地 LLM 服务器）并拉取
gemma4:26b（翻译）和qwen3.8:27b（摘要）。 - 运行 –
./start.sh（或 PowerShell 对应命令）会显示交互式菜单，或使用--webui启动 Web UI。 - 选择模式 – 实时、批处理、分离、摘要、双向字幕等。
适用对象？
- 注重隐私的专业人士，需要会议的实时字幕或转录文本，但不想将数据发送至云服务。
- 研究人员或开发者，尝试设备上的 LLM 驱动翻译与摘要。
- 多语言团队，希望为 Zoom/Teams/YouTube 提供实时字幕，同时保持一切本地化。
- 任何拥有现代 Mac（Apple Silicon）、配备 NVIDIA GPU 的 Windows PC 或 Linux 工作站，且能分配数 GB 存储空间给模型的人。
限制与注意事项
- 实时翻译速度取决于硬件和所选模型；Apple Silicon 上最快路径约 1‑3 秒延迟，NVIDIA GPU 上约 0.3‑0.5 秒。
- 摘要需要相当大的 LLM（≥ 27B 参数），因此需要性能足够的 GPU 或专用服务器。
- 某些功能（例如 Moonshine、Qwen3‑ASR）标记为实验性，可能不适用于所有平台。
- 此工具不支持无头 Linux 的实时捕获 – 需要桌面会话。
总结
jt‑live‑whisper 是一个真正的开源项目，将最先进的语音转文字、翻译、分离和会议摘要模型整合到完全离线的工作流程中。它针对需要准确、低延迟字幕和转录文本，同时将数据保留在本地用户。
相关
- 项目
- 项目
- 项目
- 项目
- 项目