jasoncheng7115/jt-live-whisper

100% 全地端 AI 語音工具箱：即時轉錄、即時翻譯、錄音檔批次處理、講者辨識、會議摘要，所有 AI 模型皆在自有設備上運行，資料不經過任何雲端服務。

jt‑live‑whisper – ローカル AI 音声ツールボックス

機能 – 単一マシン（またはマシン + GPU サーバー）で動作するアプリケーションで、システムオーディオをキャプチャし、音声認識、オプションの話者分離、テキスト翻訳、会議要約を実行します。すべてユーザー自身のハードウェアでモデルを実行します。クラウド API は不要です。

コア機能

機能	動作方法（README に記載）
リアルタイム文字起こしと翻訳	ScreenCaptureKit（macOS）、WASAPI Loopback（Windows）、PipeWire/PulseAudio モニター（Linux）でシステムオーディオをキャプチャ。音声はデバイス上の ASR モデル（Whisper、Breeze‑ASR‑26、Moonshine、Qwen3‑ASR）に供給され、結果のテキストはローカル LLM（Ollama、LM Studio など）またはオフラインの NLLB/Argos モデルで翻訳されます。
音声ファイルのバッチ処理	mp3、wav、m4a、flac をサポート。`faster‑whisper`（または他のエンジン）を使用してオフラインで文字起こしと翻訳を行います。
話者分離	`resemblyzer + spectralcluster` または NVIDIA の Nemotron 3 Diarization モデル（v2.26.0 以降デフォルト）を使用。
会議要約	文字起こしをローカル LLM（デフォルト `qwen3.8:27b`）に送信し、決定事項、アクションアイテム、リスク、タイムライン、話者統計などを抽出します。
多言語サポート	ASR：中国語、日本語、韓国語、英語、台湾語（Breeze‑ASR‑26）。翻訳：NLLB 600M で中国語↔日本語↔韓国語↔英語；英語↔中国語は Argos をフォールバックとして使用。
双方向字幕モード	リモート話者の言語を中国語に翻訳し、同時にローカル話者の中国語をリモート言語に翻訳します（en‑zh、ja‑zh、ko‑zh）。
オーバーレイと転送	オプションの半透明字幕オーバーレイ（PyQt6）、キーワードトリガーアラート、ライブ字幕の Telegram、Slack、Discord、Teams、LINE などへの転送。
Web UI	ブラウザベースのインターフェース（`./start.sh --webui`）で、すべての機能を公開し、進捗を表示し、スマートフォンやタブレットからツールを実行できます。

アーキテクチャとモデルスタック

ASR エンジン：whisper.cpp（ggml、macOS）、faster‑whisper（CTranslate2、Windows/Linux、GPU）、mlx‑whisper（Apple Silicon）、Moonshine（超低遅延英語）、vLLM / mlx‑audio / transformers（実験的な Qwen3‑ASR）。
翻訳：ローカル LLM サーバー（翻訳デフォルト gemma4:26b、要約デフォルト qwen3.8:27b）を Ollama、LM Studio、vLLM などを介してアクセス。フォールバックはオフラインの NLLB 600M または Argos。
話者分離：resemblyzer + spectralcluster（オープンソース）または NVIDIA Nemotron 3 Diarization（OpenMDW‑1.1、トークン不要）。
デプロイモード：
1. 単一マシン – すべて同じ PC で実行（CPU、Apple‑Silicon GPU、または NVIDIA GPU）。
2. クライアント + GPU サーバー – ノートPCでオーディオキャプチャ、重い ASR/分離は LAN 内の GPU サーバーで実行。
3. ヘッドレスサーバー – Linux ボックスが Web UI を公開。他のデバイスがオーディオをアップロードして処理。

はじめに（README の手順の要約）

ワンクリックインストール – 提供された install.sh（macOS/Linux）または install.ps1（Windows）を実行。スクリプトは Python 3.12 仮想環境を作成し、システム依存関係をインストールし、必要なモデルをダウンロードします（最小約 3 GB、推奨約 8 GB）。
オーディオソース設定 – macOS は ScreenCaptureKit（ドライバ不要）またはオプションの BlackHole を使用。Windows は WASAPI Loopback、Linux はデフォルトのモニターソースを使用。
オプションの LLM サーバー – Ollama（または互換性のあるローカル LLM サーバー）をインストールし、gemma4:26b（翻訳）と qwen3.8:27b（要約）をプル。
実行 – ./start.sh（または PowerShell 相当）でインタラクティブメニューが表示、または --webui で Web UI を起動。
モード選択 – リアルタイム、バッチ、分離、要約、双方向字幕など。

対象ユーザー

プライバシー重視のプロフェッショナル：会議のライブ字幕や文字起こしが必要だが、データをクラウドサービスに送信したくない方。
研究者や開発者：デバイス上の LLM 駆動の翻訳と要約を試している方。
多言語チーム：Zoom/Teams/YouTube の即時字幕を希望し、すべてをローカルに保ちたい方。
最新の Mac（Apple Silicon）、NVIDIA GPU 搭載 Windows PC、または Linux ワークステーションをお持ちの方：モデル用に数 GB のストレージを割り当てられる方。

制限と注意事項

リアルタイム翻訳速度はハードウェアと選択したモデルに依存します。Apple Silicon で最速約 1‑3 秒、NVIDIA GPU で約 0.3‑0.5 秒の遅延。
要約にはかなり大きな LLM（≥ 27B パラメータ）が必要なため、高性能 GPU または専用サーバーが必要です。
一部の機能（Moonshine、Qwen3‑ASR など）は実験的とマークされており、すべてのプラットフォームで利用できない場合があります。
このツールはヘッドレス Linux でのリアルタイムキャプチャには対応していません。デスクトップセッションが必要です。

結論

jt‑live‑whisper は、最先端の音声認識、翻訳、分離、会議要約モデルを完全オフラインのワークフローに統合した、真のオープンソースプロジェクトです。正確で低遅延の字幕と文字起こしを必要とし、データをオンプレミスに保ちたいユーザーを対象としています。