meizhong986/WhisperJAV

ASR/STT subtitle generator. Uses Qwen3-ASR, local LLM, Whisper, TEN-VAD. Noise-robust for JAV

解決する問題

WhisperJAVは、日本のアダルトビデオ（JAV）専用に設計された字幕生成ツールです。このジャンル特有の音響特性（低い信号対雑音比、頻繁な非言語的発声（喘ぎ声、息遣い）、極端な音量の変動、曖昧な音声や無音が続く際にモデルが幻覚テキストを生成しがちな傾向）に対処する際に、汎用音声認識モデル（Whisperなど）がよく起こす失敗を解決します。

仕組み

単一のモデルに依存するのではなく、文字起こしプロセスを強化するために多段階パイプラインを実装しています。

  1. シーン分割: 自然な音響境界で音声を分割し、モデルが一貫した環境を処理できるようにします。
  2. VAD（音声活動検出）クランプ: 実際の音声を検出し、そのセグメントのみをモデルに供給することで、非音声オーディオに対する幻覚を防ぎます。
  3. 音声強調（オプション）: VAD専用に音声をクリーンアップして検出精度を向上させつつ、実際の文字起こしには元の音声を使用し、必要な高周波数成分を失わないようにします。
  4. ASRモデル: Faster-Whisper、OpenAI Whisper、Qwen3-ASR、anime-whisperなど、さまざまなエンジンをサポートします。
  5. 後処理: 日本語特有のクリーンアップを適用します。終助詞に基づく文の再グループ化、音声のみの行（純粋な喘ぎ声など）の削除、タイミングの修正などが含まれます。
  6. アンサンブルモード: 2つの異なるパイプライン（異なるモデルとVAD）を実行し、結果をマージして、単一モデルでは見逃す可能性のあるギャップを埋めます。

対象ユーザー

アダルトコンテンツ向けの高品質な日本語字幕を必要とし、クラウドアップロードを避けてプライバシーを確保できる、無料でローカルなソリューションを求めるユーザー。

特長

  • ローカル実行: GUIまたはCLIを使用してユーザー自身のマシンで実行されます。
  • ChronosJAV: テキスト生成とタイミングを分離した疎結合設計により、Qwen3-ASRなどの最新の認識器を使用できます。
  • 2パスアンサンブル: 複数のモデルからの結果をマージしてカバレッジを向上させます。
  • 日本語対応フィルタリング: 対象ドメインで一般的な日本語の対話や非言語音のニュアンスを処理するために特別に調整されています。
  • 柔軟なパイプライン: シーン検出、音声強調、VADプロバイダーのオプションを自由に組み合わせられます。

関連

  • プロジェクト
    Alos21750/UAV-Downloader

    特定の動画プラットフォーム向けのデスクトップ対応ダウンローダー兼自動監視ツール。日本語・英語・繁体字中国語の字幕を生成する内蔵ローカルAIを搭載。

  • プロジェクト
    baxtree/subaligner

    Subaligner は、字幕と動画／音声を同期するオープンソースの Python/CLI ツールです。Whisper を用いた音声認識、HuggingFace モデルによる字幕翻訳、カスタム同期モデルの訓練も可能。多数の字幕およびメディアフォーマットをサポートし、高速なグローバルシフト（`single`）と高精度の二段階（`dual`）同期を提供。Docker、pip、およびLLMベースの機能用オプション拡張も利用可能。

  • プロジェクト
    VOICEVOX/voicevox_engine

    VOICEVOX Engine は、VOICEVOXニューラルTTSコアを使用して日本語のテキスト読み上げ（および歌唱）を提供するHTTPサーバーです。通常の合成、ストリーミング、ボイススタイルのモーフィング、カスタム発音辞書、プリセット、キャンセル可能な合成をサポートしています。CPUまたはGPUで動作可能で、Dockerイメージとしてパッケージ化されており、アプリケーションに日本語TTSを統合する開発者向けです。

  • プロジェクト
    SYSTRAN/faster-whisper

    faster-whisper は、高性能な CTranslate2 推論エンジンを使用して OpenAI の Whisper 音声認識モデルを再実装した Python ライブラリです。同等の精度で最大 4 倍高速な文字起こしを実現し、CPU、GPU、8 ビット量子化をサポートし、単語レベルのタイムスタンプ、VAD フィルタリング、バッチ推論などの機能を提供します。pip でインストールし、モデルサイズ（例：「large-v3」）を選択し、デバイス/精度を指定して WhisperModel を作成し、`transcribe` を呼び出します。ライブキャプション、バッチ処理、または低遅延・低メモリで Whisper 品質の文字起こしが必要なあらゆるプロジェクトに最適です。

  • プロジェクト
    jasoncheng7115/jt-live-whisper

    jt‑live‑whisper は、リアルタイム文字起こし、翻訳、話者分離、会議要約のためのオフライン優先の AI ツールボックスです。macOS、Windows、Linux でシステムオーディオをキャプチャし、Whisper ベースまたは他の ASR モデルをローカルで実行し、ローカル LLM（またはオフラインの NLLB/Argos）で翻訳し、字幕、文字起こし、AI 生成の会議議事録を生成できます。すべてクラウド API なしで実現します。