meizhong986/WhisperJAV

ASR/STT subtitle generator. Uses Qwen3-ASR, local LLM, Whisper, TEN-VAD. Noise-robust for JAV

它解决了什么问题

WhisperJAV 是一款专为日本成人视频 (JAV) 设计的字幕生成器。它解决了通用语音识别模型（如 Whisper）在处理该类型视频独特的声学特征时常见的失败问题，例如低信噪比、频繁的非语言发声（呻吟、喘息）、极端的音量波动，以及模型在长时间模糊音频或静音期间产生幻觉文本的倾向。

工作原理

该项目没有依赖单一模型，而是实现了一个多阶段流水线来强化转录过程：

  1. 基于场景的分割：在自然的声学边界处分割音频，以确保模型处理的是连贯的环境。
  2. VAD（语音活动检测）钳位：检测实际语音并仅将这些片段输入模型，以防止在非语音音频上产生幻觉。
  3. 语音增强（可选）：可以专门为 VAD 清理音频以提高检测率，同时保留原始音频用于实际转录，从而避免丢失必要的高频细节。
  4. ASR 模型：支持多种引擎，包括 Faster-Whisper、OpenAI Whisper、Qwen3-ASR 和 anime-whisper。
  5. 后处理：应用针对日语的清理，包括基于结尾助词的句子重组、移除纯声音行（例如纯呻吟）以及时间轴修复。
  6. 集成模式：允许运行两个不同的流水线（不同的模型和 VAD）并合并结果，以填补单一模型可能遗漏的空白。

适用人群

需要为成人内容制作高质量日语字幕，并希望通过避免云端上传来确保隐私的免费本地解决方案的用户。

亮点

  • 本地运行：在用户自己的机器上通过 GUI 或 CLI 运行。
  • ChronosJAV：一种解耦设计，将文本生成与时间轴分离，允许使用 Qwen3-ASR 等现代识别器。
  • 双重集成：合并来自多个模型的结果以增加覆盖范围。
  • 日语感知过滤：专门针对该领域常见的日语对话和非语言声音的细微差别进行了调整。
  • 灵活的流水线：场景检测、语音增强和 VAD 提供商的混合搭配选项。

相关

  • 项目
    Alos21750/UAV-Downloader

    针对特定视频平台的桌面下载器和自动监控工具，内置本地 AI，可生成日语、英语和繁体中文字幕。

  • 项目
    baxtree/subaligner

    Subaligner 是一个开源的 Python/CLI 工具，可将字幕与视频/音频同步，支持通过 Whisper 进行语音转录、使用 HuggingFace 模型进行字幕翻译，甚至训练自定义对齐模型。支持多种字幕和媒体格式，提供快速全局偏移（`single`）和高精度双阶段（`dual`）对齐，并支持 Docker、pip 及 LLM 增强功能的可选扩展。

  • 项目
    VOICEVOX/voicevox_engine

    VOICEVOX 引擎是一个使用 VOICEVOX 神经 TTS 核心提供日语文本转语音（及歌唱）的 HTTP 服务器。它提供常规合成、流式传输、语音风格融合、自定义发音词典、预设和可取消合成的端点。该引擎可在 CPU 或 GPU 上运行，以 Docker 镜像打包，专为希望将日语 TTS 集成到应用程序中的开发者设计。

  • 项目
    SYSTRAN/faster-whisper

    faster-whisper 是一个 Python 库，使用高性能的 CTranslate2 推理引擎重新实现了 OpenAI 的 Whisper 语音转文字模型。它提供高达 4 倍的转录速度，同时保持相似的准确性，支持 CPU、GPU 和 8 位量化，并提供词级时间戳、VAD 过滤和批量推理等功能。可通过 pip 安装，选择模型大小（例如“large-v3”），使用指定的设备/精度创建 WhisperModel，然后调用 `transcribe`。非常适合实时字幕、批量处理，或任何需要 Whisper 质量转录且要求更低延迟和内存使用的项目。

  • 项目
    jasoncheng7115/jt-live-whisper

    jt‑live‑whisper 是一个离线优先的 AI 工具箱，用于实时转录、翻译、说话人分离和会议摘要。它可在 macOS、Windows 或 Linux 上捕获系统音频，在本地运行 Whisper 或其他 ASR 模型，使用本地 LLM（或离线 NLLB/Argos）进行翻译，并可生成字幕、转录文本和 AI 生成的会议纪要——全部无需任何云 API。