meangrinch/MangaTranslator

해결하는 문제

만화 및 만화 번역의 번거로운 과정을 자동화합니다. 수동으로 텍스트를 지우고 번역을 다시 입력하는 대신, 이 도구는 전체 파이프라인을 처리합니다: 텍스트 버블 감지, 원본 텍스트 제거, 콘텐츠 번역, 그리고 번역된 텍스트를 이미지에 다시 렌더링합니다.

작동 방식

이 애플리케이션은 다단계 AI 파이프라인을 사용합니다:

1. 감지: YOLO 및 SAM 2.1/3과 같은 모델을 사용하여 대화 버블과 버블 외부의 텍스트를 식별합니다.
2. 정리: FLUX 모델 또는 OpenCV를 사용하여 원본 텍스트를 인페인팅(inpainting)하여 깨끗한 캔버스를 만듭니다.
3. 번역: OCR를 수행하고, LLM 또는 VLM을 사용하여 60개 이상의 지원 언어 중 하나로 번역합니다 (다양한 API 제공업체 또는 로컬 엔드포인트를 통해).
4. 렌더링: 사용자 정의 엔진이 번역된 텍스트를 버블에 조정 가능한 정렬과 사용자 정의 폰트 팩과 함께 다시 배치합니다.
5. 업스케일링: 2x-AnimeSharpV4를 사용하여 텍스트 영역 또는 전체 페이지를 확대하여 시각적 품질을 향상시킵니다.

대상 사용자

• 자신의 언어로 번역되지 않은 작품을 읽고 싶은 만화 및 만화 독자.
• 작업 흐름의 정리 및 타이포그래피 단계를 자동화하고자 하는 스캔레이션 그룹.

주요 특징

• 원클릭 자동화: 수동 개입 없이 전체 번역 프로세스를 처리합니다.
• 광범위한 언어 지원: 60개 이상의 언어로 번역을 지원합니다.
• 유연한 LLM 통합: OpenAI, Google, Anthropic 및 OpenAI 호환 API를 통한 로컬 엔드포인트 등 다양한 제공업체와 호환됩니다.
• 고급 정리 기능: 고성능 생성 모델(FLUX)을 사용하여 고품질의 텍스트 제거를 수행합니다.
• 이중 인터페이스: 사용자 친화적인 Gradio 웹 UI와 배치 처리를 위한 명령줄 인터페이스(CLI)를 모두 제공합니다.