ciddwd/overlay-translator

无需 ROOT 的开源 Android 屏幕实时翻译工具,适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读(TTS),译文可直接显示在画面上。Open-source no-root Android real-time screen translator for games, visual novels, and manga. Supports on-device and cloud OCR, offline LLMs, multiple translation services, on-screen translations, and text-to-speech (TTS).

Screen Translator (屏译) – 是什么

Screen Translator 是一款 Android 应用,可实时翻译手机屏幕上显示的任何文本。它通过截取屏幕截图,运行 OCR(光学字符识别)提取文字,将文本发送至翻译引擎(可以是本地模型、云端 LLM 或传统 MT 服务),然后将翻译结果叠加在原始图像之上。叠加层可以是浮动窗口,也可以是贴合原始文字的文本块,应用还支持朗读翻译内容。


核心功能(如 README 所述)

功能 工作方式
屏幕捕获 使用 Android 的 MediaProjection API 或 Shizuku 服务,无需 root 权限即可获取屏幕。
OCR(文本提取) 多种后端支持:设备内 ML Kit、PaddleOCR(v5/v6)、专用漫画 OCR、本地 HTTP 服务(Umi‑OCR、LunaTranslator)、云端 OCR(PP‑OCRv6、百度、腾讯、有道)。应用会自动选择支持检测到的源语言的引擎。
翻译 支持广泛的引擎:设备内模型(Sakura、Hy‑MT2)、Google ML Kit、DeepL(官方或自托管 deeplx)、OpenAI 兼容 LLM(ChatGPT、Claude、DeepSeek 等)、Anthropic 兼容服务,以及其他商用 API(百度、腾讯、火山、MiniMax、MiMo)。
叠加显示 两种渲染模式——BLOCKS(文本块直接放置在原始文字上方)或可拖动的 浮动窗口。叠加层可自动适配颜色、字体和布局以匹配源图像,甚至可处理竖排日语漫画面板和对话气泡检测。
文本转语音(TTS) 使用设备内置 TTS、自托管语音服务或云提供商(火山、MiniMax、MiMo)。用户可朗读原文、翻译内容或词典条目。
单词级查词 通过拖动选择框("单词选择模式")可获取词典卡片,显示翻译、发音、词性、同义词、例句和解释(更丰富的数据来自 LLM)。
批量处理 图像可从相册导入或从其他应用共享;应用会创建一个后台任务,批量处理多个截图,保存结果并可选择性导出已嵌入翻译文本的图像。
循环 / 自动翻译 循环模式会以固定间隔或在文本稳定时重复捕获屏幕,跳过相同帧并优先处理对话区域。
可定制 UI 主题(亮色/暗色/跟随系统)、颜色选择器、字体导入(.ttf)、按钮顺序编辑、按应用翻译预设。
隐私与离线支持 所有 OCR 和翻译均可在设备上完全运行;云服务为可选。敏感设置(API 密钥、提示词)以加密方式存储。

谁会用它?

  • 希望为外语游戏获取实时字幕的 游戏玩家
  • 需要即时翻译竖排日文的 漫画/视觉小说读者
  • 希望在手机阅读时快速查词的 语言学习者
  • 偏好开源、可自托管流程的 开发者或爱好者(可指向自己的 OCR 或翻译服务器)。

技术亮点

  • 使用 Kotlin 2.x 编写,采用 Jetpack Compose UI。
  • 最低 Android 版本:API 26(Android 8.0)。
  • 模块化流水线:OCR、翻译和 TTS 独立运行;可自由组合本地或远程组件。
  • 模型管理:支持设备内模型下载,后台进度显示,可恢复传输,自动线程数扩展(最多 6 个 CPU 线程)。
  • 无障碍支持:浮窗 UI 元素支持基本 TalkBack 功能。

快速上手(如 README 所述)

  1. Releases 页面下载最新 ScreenTranslator‑x.y.z.apk(仅 arm64‑v8a)。如需可验证 SHA‑256 校验和。
  2. 安装 APK(允许未知来源),并授予 叠加通知 权限。
  3. 在应用内启动 屏幕捕获服务,切换至目标游戏/漫画,点击浮动球翻译整屏或进入单词选择模式。
  4. 可选:启用 无障碍快捷键(音量+和-同时按 0.3 秒)作为全局触发器,或安装 Shizuku 以避免 MediaProjection 权限提示。

为何与 AI/ML 相关

Screen Translator 本质上是一个 移动端 AI 流水线:它结合了最先进的 OCR 模型(ML Kit、PaddleOCR、专用 ONNX 模型)与 大语言模型 或传统 MT 服务,并可选地集成 TTS 语音模型。所有组件均可配置,项目以 Apache‑2.0 开源,是构建本地 AI 或混合云边翻译系统的绝佳参考。


TL;DR: Screen Translator 是一款开源 Android 应用,可捕获屏幕,运行 OCR,使用本地模型或云端 LLM 翻译提取的文本,并叠加结果(或朗读)。完全可配置,支持离线运行,面向游戏玩家、漫画读者和语言学习者。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目