bquenin/interpreter

This application can translate text captured from any application running on your computer.

Interpreter – 面向日文復古遊戲的離線螢幕翻譯器

是什麼 – 一個桌面應用程式,可捕獲任意視窗(通常是日文復古遊戲)的影像,對捕獲的畫格執行 OCR,將提取的日文文字翻譯成英文,並以字幕形式顯示。所有處理均在本機完成;不使用任何雲端服務。

核心功能

  • 完全離線 – 初始模型下載(約 1.5 GB)後,程式無需網路連接即可運作,確保您的資料隱私。
  • OCR – 使用 MeikiOCR,此模型在像素級精確的日文遊戲字型上訓練,可從低解析度截圖中識別文字。
  • 翻譯 – 透過 CTranslate2 使用 Sugoi V4 日語→英語模型(託管於 Hugging Face)產生英文字幕。
  • 兩種疊加樣式
    • 橫幅模式:螢幕底部可拖曳的字幕列。
    • 原位模式:透明文字直接疊加在原始日文字元上方,支援點擊穿透,遊戲仍可正常操作。
  • 快取機制 – 對先前見過的字串進行模糊比對,避免重複翻譯相同或相似文字,提升處理速度。
  • 多螢幕支援 – 叠加層顯示在與捕獲視窗相同的螢幕上。

支援平台

  • Windows 10 (1903+)
  • macOS
  • Linux (X11, XWayland, Wayland) – Wayland 需注意(全域快捷鍵、PipeWire 捕獲、僅全螢幕模式下支援原位疊加)。

安裝

  • macOS/Linux 一鍵指令碼(curl … | bash)與 Windows PowerShell(irm … | iex)。
  • 安裝程式會下載二進位檔 interpreter-v2、所需函式庫以及 OCR/翻譯模型。

執行程式

interpreter-v2

啟動 GUI,可選擇目標視窗、選擇疊加模式、調整 OCR 置信度並修改其他設定。

內部運作原理

  1. 螢幕捕獲 – 以可設定的頻率從選定視窗抓取畫格。
  2. OCR – 將每張畫格輸入 MeikiOCR,取得日文文字及其螢幕座標。
  3. 翻譯 – 透過 CTranslate2 將提取的文字傳遞給 Hugging Face 上託管的 Sugoi V4 模型,實現快速 CPU/GPU 推理。
  4. 顯示 – 將英文文字渲染為螢幕底部橫幅或直接疊加在原始字元上。

來自 README 的故障排除提示

  • OCR 效果差:調整置信度滑桿;值較低可捕獲更多文字,但可能引入雜訊。
  • 效能緩慢:首次執行會下載模型;後續執行將使用 ~/.cache/huggingface/ 中的快取副本。

為何重要 – 它展示了在小眾但受歡迎的應用場景(無需外部翻譯服務即可遊玩日文復古遊戲)中,一個實用且保護隱私的 AI 流程(捕獲 → OCR → 神經機器翻譯)的實際應用。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案