ciddwd/overlay-translator

无需 ROOT 的开源 Android 屏幕实时翻译工具，适合游戏、视觉小说和漫画。支持端侧与云端 OCR、离线 LLM、多种翻译服务和文字朗读（TTS），译文可直接显示在画面上。Open-source no-root Android real-time screen translator for games, visual novels, and manga. Supports on-device and cloud OCR, offline LLMs, multiple translation services, on-screen translations, and text-to-speech (TTS).

Screen Translator (屏译) – 무엇인가요

Screen Translator 는 스마트폰 화면에 나타나는 모든 텍스트를 실시간으로 번역할 수 있는 안드로이드 앱입니다. 스크린샷을 캡처하고, OCR(광학 문자 인식)을 통해 단어를 추출한 후, 번역 엔진(로컬 모델, 클라우드 LLM, 또는 전통적인 MT 서비스)에 텍스트를 전송하여 번역 결과를 원본 이미지 위에 오버레이합니다. 오버레이는 부유 창 또는 원본 텍스트에 고정된 블록일 수 있으며, 앱은 번역 결과를 음성으로 읽어주기도 합니다.

핵심 기능 (README에 기술됨)

기능	작동 방식
화면 캡처	루트 권한 없이 Android의 MediaProjection API 또는 Shizuku 서비스를 사용하여 화면을 캡처합니다.
OCR (텍스트 추출)	여러 백엔드 지원: 로컬 ML Kit, PaddleOCR (v5/v6), 전용 만화 OCR, 로컬 HTTP 서비스 (Umi‑OCR, LunaTranslator), 클라우드 OCR (PP‑OCRv6, Baidu, Tencent, Youdao). 감지된 원본 언어를 지원하는 엔진을 자동으로 선택합니다.
번역	다양한 엔진 지원: 로컬 모델 (Sakura, Hy‑MT2), Google ML Kit, DeepL (공식 또는 자체 호스팅 deeplx), OpenAI 호환 LLM (ChatGPT, Claude, DeepSeek 등), Anthropic 호환 서비스, 기타 상용 API (Baidu, Tencent, Volcano, MiniMax, MiMo).
오버레이 표시	두 가지 렌더링 모드 – BLOCKS (원본 단어 위에 직접 배치된 텍스트 블록) 또는 드래그 가능한 부유 창. 오버레이는 자동으로 원본 이미지에 맞춰 색상, 폰트, 레이아웃을 조정할 수 있으며, 세로 일본어 만화 패널과 대화풍선 감지까지 처리합니다.
텍스트 음성 변환 (TTS)	기기 내 TTS, 자체 호스팅 음성 서비스, 또는 클라우드 제공업체 (Volcano, MiniMax, MiMo) 사용. 원본 텍스트, 번역, 사전 항목을 읽을 수 있습니다.
단어 수준 검색	선택 박스를 드래그하여("단어 선택 모드") 사전 카드를 표시해 번역, 발음, 품사, 동의어, 예문, 설명을 확인할 수 있습니다 (더 풍부한 데이터는 LLM에서 제공).
배치 처리	갤러리에서 이미지를 가져오거나 다른 앱에서 공유하여 입력 가능. 앱은 백그라운드에서 여러 스크린샷을 처리하는 작업을 생성하며, 결과를 저장하고 번역된 텍스트를 포함한 이미지를 선택적으로 내보낼 수 있습니다.
루프 / 자동 번역	루프 모드는 고정 간격 또는 텍스트가 안정화될 때마다 화면을 반복 캡처하며, 동일한 프레임은 건너뛰고 대화 영역을 우선 처리합니다.
사용자 정의 UI	테마 (라이트/다크/시스템 따라), 색상 선택기, 폰트 임포트 (.ttf), 버튼 순서 편집, 앱별 번역 프리셋.
개인정보 보호 및 오프라인 지원	모든 OCR 및 번역은 기기 내에서 완전히 실행 가능. 클라우드 서비스는 선택 사항. 민감한 설정(API 키, 프롬프트)은 암호화하여 저장됩니다.

누구에게 적합한가요?

외국어 게임의 실시간 자막이 필요한 게이머.
세로 일본어 텍스트를 즉시 번역해야 하는 만화/비주얼 노벨 독자.
스마트폰에서 읽을 때 빠르게 사전 검색이 필요한 언어 학습자.
오픈소스이고 자체 호스팅 가능한 파이프라인을 선호하는 개발자 또는 애호가 (자신의 OCR 또는 번역 서버에 연결 가능).

기술적 특징

Kotlin 2.x 로 작성, Jetpack Compose UI 사용.
최소 안드로이드 버전: API 26 (안드로이드 8.0).
모듈화된 파이프라인: OCR, 번역, TTS는 독립적. 로컬 또는 원격 구성 요소를 자유롭게 조합 가능.
모델 관리: 백그라운드에서 기기 내 모델 다운로드, 재시도 가능한 전송, 자동 스레드 수 조정 (최대 6개 CPU 스레드).
접근성: 부유 UI 요소에 기본 TalkBack 지원.

시작하기 (README에 기술됨)

Releases 페이지에서 최신 ScreenTranslator‑x.y.z.apk 다운로드 (arm64‑v8a 전용). 원할 경우 SHA‑256 체크섬 검증.
APK 설치 (신뢰할 수 없는 소스 허용) 후, 오버레이 및 알림 권한 부여.
앱 내에서 화면 캡처 서비스 시작, 대상 게임/만화로 전환 후 부유 공을 탭하여 전체 화면 번역 또는 단어 선택 모드 진입.
선택 사항: 접근성 단축키 (볼륨 +와 -를 0.3초간 동시에 눌러) 활성화하여 글로벌 트리거 설정, 또는 Shizuku 설치로 MediaProjection 권한 프롬프트 회피.

AI/ML에 대한 의미

Screen Translator는 본질적으로 모바일 AI 파이프라인입니다: 최신 OCR 모델(ML Kit, PaddleOCR, 전용 ONNX 모델)과 대규모 언어 모델 또는 전통적인 MT 서비스를 결합하며, 필요 시 TTS 음성 모델도 사용합니다. 모든 구성 요소는 구성 가능하며, Apache‑2.0 라이선스 하에 오픈소스로 제공되어, 온디바이스 AI 또는 하이브리드 클라우드-엣지 번역 시스템을 구축하는 데 유용한 참고 자료입니다.

TL;DR: Screen Translator는 화면을 캡처하고 OCR을 실행하며, 로컬 모델 또는 클라우드 LLM으로 추출된 텍스트를 번역한 후 결과를 오버레이 표시(또는 음성으로 읽음)하는 오픈소스 안드로이드 앱입니다. 완전히 구성 가능하고 오프라인에서도 작동하며, 게이머, 만화 독자, 언어 학습자를 대상으로 합니다.