zyddnys/manga-image-translator

해결하는 문제

이 프로젝트는 이미지 내의 텍스트를 번역하기 위한 원클릭 솔루션을 제공하며, 특히 만화, 코믹스, 그룹 채팅 또는 이미지 게시판의 이미지와 같이 전문적인 번역이 거의 이루어지지 않는 콘텐츠를 대상으로 합니다. 텍스트 감지, 이미지에서 텍스트 제거, 그리고 이미지의 시각적 무결성을 유지하면서 번역된 텍스트로 교체하는 프로세스를 자동화합니다.

작동 방식

이 도구는 이미지 처리를 위해 AI 모델 파이프라인을 사용합니다:

1. Detection: 이미지 내의 텍스트 영역을 식별합니다.
2. OCR: 식별된 영역에서 원본 텍스트를 추출합니다.
3. Translation: 추출된 텍스트를 대상 언어(일본어, 중국어, 영어 및 기타 20개 언어 지원)로 번역합니다.
4. Inpainting: 원본 텍스트를 제거하고 이미지 배경을 복구합니다(lama_large와 같은 모델 사용).
5. Typesetting: 폰트 사용자 정의 및 레이아웃 조정 옵션과 함께 번역된 텍스트를 이미지에 다시 렌더링합니다.

대상 사용자

• 콘텐츠를 모국어로 읽고 싶은 만화 및 코믹스 독자.
• 소셜 미디어 또는 이미지 게시판의 이미지에 포함된 텍스트를 번역해야 하는 사용자.
• 이미지 기반 콘텐츠를 이해하는 데 도움이 필요한 일본어 학습자 또는 초보자.

주요 특징

• 포괄적인 파이프라인: 텍스트 감지 및 OCR부터 인페인팅 및 타이포그래피까지 모든 과정을 처리합니다.
• 다국어 지원: 일본어, 간체 중국어, 번체 중국어, 영어 및 20개의 추가 언어를 지원합니다.
• 유연한 배포: 로컬 배치 프로세서, UI가 있는 웹 서버 또는 API로 사용할 수 있습니다.
• 사용자 정의 가능: 탐지기, OCR 엔진, 번역기(OpenAI 포함) 및 인페인터에 대해 광범위한 구성을 제공합니다。
• GPU 가속: 빠른 처리를 위해 CUDA 및 MPS를 지원합니다.