jedzqer/manga-translator-android

해결하는 문제

이 프로젝트는 Android 앱을 통해 만화 번역을 자동화하여 사용자가 선호하는 언어로 만화를 읽을 수 있도록 합니다. 이미지 내 텍스트를 수동으로 번역하는 문제를 해결하기 위해, 말풍선 검출, 텍스트 인식, 번역 프로세스를 자동화합니다.

작동 방식

앱은 로컬 및 API 기반 도구의 파이프라인을 사용하여 만화 페이지를 처리합니다.

1. 말풍선 검출: YOLO26n-seg 모델을 사용하여 만화 대화풍선을 검출하고 세그멘테이션합니다.
2. OCR (광학 문자 인식): PaddleOCR와 같은 로컬 모델 또는 OpenAI 호환 OCR API를 사용하여 해당 풍선 내 텍스트를 인식합니다.
3. 번역: 인식된 텍스트는 OpenAI 호환 API를 통해 대규모 언어 모델(LLM)에 전달되어 대상 언어로 번역됩니다.
4. 오버레이: 번역된 텍스트는 원본 이미지 위에 드래그 가능한 풍선 형태로 표시되어 원본 레이아웃을 유지합니다.

대상 사용자

자신이 능숙하지 않은 언어로 만화나 만화책을 읽고 싶은 독자, 또는 플로팅 윈도우 번역 기능을 통해 Android 기기의 어떤 앱이나 화면에서도 실시간으로 텍스트를 번역하고 싶은 사용자.

주요 기능

• 화면 번역: 플로팅 윈도우를 통해 Android 기기의 어떤 앱이나 화면에서도 텍스트를 번역할 수 있습니다.
• 다국어 지원: 일본어, 영어, 한국어, 프랑스어, 스페인어, 포르투갈어, 독일어, 이탈리아어, 러시아어 등 다양한 원본 언어를 지원하며, 앱 인터페이스 언어에 따라 여러 대상 언어를 지원합니다.
• 만화 라이브러리 관리: 이미지, CBZ, ZIP, PDF 파일을 가져올 수 있으며, 자동으로 진행 상황을 저장합니다.
• 용어집 지원: 폴더별로 glossary.json 파일을 유지하여 이름과 용어의 일관된 번역을 보장합니다.
• 유연한 OCR: 개인정보 보호와 속도를 중시하는 사용자를 위해 로컬 OCR 모델 또는 API 기반 OCR 중 선택 가능합니다.