meangrinch/MangaTranslator

MangaTranslator – 원클릭 AI 기반 만화 번역

개요

• 만화/코믹 페이지를 입력받아 말풍선과 프레임 외부 텍스트를 감지하고, 원본 글자를 제거하고, 텍스트를 번역한 후 대상 언어로 페이지를 다시 렌더링하는 오픈 소스 Python 앱입니다. 여러 최신 ML 구성 요소(감지용 YOLO, OCR, 번역용 LLM, 인페인팅용 확산 모델)를 사용하기 쉬운 단일 웹 UI(Gradio) 또는 CLI로 통합합니다.

중요성

• 스캔 번역(수동 만화 번역)은 노동 집약적입니다. MangaTranslator는 전체 파이프라인을 자동화하여 사용자가 원작을 보존하면서 원클릭으로 60개 이상의 언어를 번역할 수 있게 합니다.

주요 기능

• 감지 – YOLOv8, RT-DETR-v2, Meta의 SAM 2/3 세그먼터를 통한 말풍선 및 프레임 외부 텍스트 감지.
• 정리 – FLUX 확산 모델 또는 빠른 OpenCV 대체를 사용하여 제거된 텍스트를 인페인팅.
• OCR 및 번역 – Manga-OCR, PaddleOCR-VL 및 구성한 모든 LLM 공급자(Google, OpenAI, Anthropic, DeepSeek 또는 로컬 llama.cpp 호환 엔드포인트)를 사용. 60개 이상의 언어를 지원.
• 렌더링 – 사용자 정의 글꼴 팩, 줄 바꿈, 정렬, 선택적 배경 아트 복원.
• 업스케일링 – 텍스트 영역 또는 전체 페이지용 선택적 2× AnimeSharpV4 업스케일러.
• 인터페이스 – 드래그 앤 드롭용 그래픽 웹 UI(Gradio)와 스크립팅 및 일괄 처리(폴더, ZIP/CBZ 아카이브)용 전체 기능 CLI.
• 유연성 – 다양한 구성 옵션(공급자 키, 프레임 외부 모델용 HF 토큰, 정리 전용 모드, 글꼴 디렉토리 등).

빠른 시작

1. 다운로드 – 휴대용 빌드(Windows)를 받거나 리포지토리를 클론합니다.
2. 설치 – Python 3.10+ venv를 만들고 PyTorch(GPU용 CUDA 13.0)와 requirements.txt를 설치합니다.
3. 구성 – 웹 UI에서 Config → Translation으로 이동하여 LLM API 키를 추가하거나 환경 변수(GEMINI_API_KEY, HF_TOKEN)를 설정합니다. Hugging Face 토큰을 제공하여 프레임 외부 감지를 활성화합니다.
4. 번역 – 이미지(또는 폴더/CBZ)를 업로드하고 Translate를 클릭하거나 다음을 실행합니다:

   python main.py \
     --input "page.jpg" \
     --input-language Japanese \
     --output-language English \
     --font-dir fonts/KomikaHand \
     --provider Google --google-api-key <key> \
     --osb-enable --osb-hf-token <token>
   

하드웨어 참고 사항 – CUDA 13 지원 GPU(또는 macOS/CPU 대체)를 권장합니다. README에 자세한 하드웨어 요구 사항 문서 링크가 있습니다.

라이선스 및 크레딧

• Apache-2.0 라이선스.
• 커뮤니티 모델(YOLO, SAM, FLUX, Manga-OCR 등)과 torch, gradio, opencv, stable-diffusion.cpp 같은 라이브러리 모음에 기반하여 구축되었습니다.

더 알아보기

• 전체 문서: 설치, 구성, CLI 사용법, 글꼴 처리, 문제 해결 및 하드웨어 요구 사항은 모두 docs/ 폴더에 있습니다.
• 유용하다면 Ko-fi를 통해 저자를 지원하세요.