ciddwd/overlay-translator
无需 ROOT 的开源 Android 屏幕实时翻译工具,适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读(TTS),译文可直接显示在画面上。Open-source no-root Android real-time screen translator for games, visual novels, and manga. Supports on-device and cloud OCR, offline LLMs, multiple translation services, on-screen translations, and text-to-speech (TTS).
Screen Translator (屏译) – 是什麼
Screen Translator 是一款 Android 應用程式,可即時翻譯手機螢幕上顯示的任何文字。它透過截取螢幕畫面,執行 OCR(光學字元辨識)提取文字,將文字傳送至翻譯引擎(可為本機模型、雲端 LLM 或傳統 MT 服務),然後將翻譯結果疊加在原始影像之上。疊加層可為浮動視窗或貼合原始文字的區塊,應用程式亦可朗讀翻譯內容。
核心功能(如 README 所述)
| 功能 | 工作方式 |
|---|---|
| 螢幕擷取 | 使用 Android 的 MediaProjection API 或 Shizuku 服務,無需 root 權限即可取得螢幕。 |
| OCR(文字提取) | 多種後端支援:裝置內 ML Kit、PaddleOCR(v5/v6)、專用漫畫 OCR、本機 HTTP 服務(Umi‑OCR、LunaTranslator)、雲端 OCR(PP‑OCRv6、百度、騰訊、有道)。應用會自動選擇支援偵測到的來源語言的引擎。 |
| 翻譯 | 支援廣泛的引擎:本機模型(Sakura、Hy‑MT2)、Google ML Kit、DeepL(官方或自架 deeplx)、OpenAI 相容 LLM(ChatGPT、Claude、DeepSeek 等)、Anthropic 相容服務,以及其他商用 API(百度、騰訊、火山、MiniMax、MiMo)。 |
| 疊加顯示 | 兩種渲染模式——BLOCKS(文字區塊直接置於原始文字上方)或可拖曳的 浮動視窗。疊加層可自動適應顏色、字型和版面以匹配來源影像,甚至可處理垂直日文漫畫面板與對話框偵測。 |
| 文字轉語音(TTS) | 使用裝置內建 TTS、自架語音服務或雲端供應商(火山、MiniMax、MiMo)。使用者可朗讀原文、翻譯內容或字典條目。 |
| 單字級查詢 | 透過拖曳選擇框("單字選擇模式")可取得字典卡片,顯示翻譯、發音、詞性、同義詞、例句與解釋(更豐富的資料來自 LLM)。 |
| 批次處理 | 圖像可從相簿匯入或從其他應用程式分享;應用會建立背景任務,批量處理多張截圖,儲存結果並可選擇性匯出已嵌入翻譯文字的影像。 |
| 循環 / 自動翻譯 | 循環模式會以固定間隔或在文字穩定時重複擷取螢幕,跳過相同畫面並優先處理對話區域。 |
| 可客製化 UI | 主題(亮色/暗色/跟隨系統)、顏色選擇器、字型匯入(.ttf)、按鈕順序編輯、按應用程式翻譯預設。 |
| 隱私與離線支援 | 所有 OCR 與翻譯皆可在裝置上完全執行;雲端服務為可選。敏感設定(API 金鑰、提示詞)以加密方式儲存。 |
誰會使用它?
- 希望為外語遊戲取得即時字幕的 玩家。
- 需要即時翻譯垂直日文的 漫畫/視覺小說讀者。
- 希望在手機閱讀時快速查字的 語言學習者。
- 偏好開源、可自架流程的 開發者或愛好者(可指向自己的 OCR 或翻譯伺服器)。
技術亮點
- 使用 Kotlin 2.x 編寫,採用 Jetpack Compose UI。
- 最低 Android 版本:API 26(Android 8.0)。
- 模組化流程:OCR、翻譯與 TTS 獨立運作;可自由組合本機或遠端元件。
- 模型管理:支援裝置內模型下載,背景進度顯示,可恢復傳輸,自動線程數擴展(最多 6 個 CPU 線程)。
- 無障礙支援:浮動 UI 元素支援基本 TalkBack 功能。
快速上手(如 README 所述)
- 從 Releases 頁面下載最新
ScreenTranslator‑x.y.z.apk(僅 arm64‑v8a)。如需可驗證 SHA‑256 校驗碼。 - 安裝 APK(允許未知來源),並授予 疊加 與 通知 權限。
- 在應用內啟動 螢幕擷取服務,切換至目標遊戲/漫畫,點擊浮動球翻譯整屏或進入單字選擇模式。
- 可選:啟用 無障礙捷徑(音量+與-同時按 0.3 秒)作為全域觸發器,或安裝 Shizuku 以避免 MediaProjection 權限提示。
為何與 AI/ML 相關
Screen Translator 本質上是一個 行動端 AI 流程:它結合了最先進的 OCR 模型(ML Kit、PaddleOCR、專用 ONNX 模型)與 大型語言模型 或傳統 MT 服務,並可選地整合 TTS 語音模型。所有元件皆可配置,專案以 Apache‑2.0 開源,是建構本機 AI 或混合雲端-邊緣翻譯系統的絕佳參考。
TL;DR: Screen Translator 是一款開源 Android 應用,可擷取螢幕,執行 OCR,使用本機模型或雲端 LLM 翻譯提取的文字,並疊加結果(或朗讀)。完全可配置,支援離線運作,針對玩家、漫畫讀者與語言學習者設計。
相關
- 專案
- 專案
- 專案
- 專案
- 專案