zyddnys/manga-image-translator

해결하는 문제

이 프로젝트는 이미지 내 텍스트를 번역하는 원클릭 솔루션을 제공하며, 특히 만화, 망가, 그룹 채팅이나 이미지 보드의 이미지와 같이 전문적으로 번역되는 경우가 거의 없는 콘텐츠를 대상으로 합니다. 텍스트 감지부터 최종 조판까지 전체 파이프라인을 처리하며, 일본어, 중국어(간체 및 번체), 영어 및 기타 20개 언어를 지원합니다.

작동 방식

이 도구는 다단계 AI 파이프라인을 사용하여 이미지를 처리합니다.

1. 감지: 이미지 내 텍스트 영역을 식별합니다.
2. OCR: 감지된 영역에서 텍스트를 추출합니다.
3. 번역: 다양한 지원 번역기(Sugoi, Sakura 또는 OpenAI와 같은 옵션 포함)를 사용하여 추출된 텍스트를 번역합니다.
4. 인페인팅: lama_large와 같은 모델을 사용하여 이미지에서 원본 텍스트를 제거(이미지 복원)하여 깨끗한 배경을 만듭니다.
5. 조판: 번역된 텍스트를 이미지에 다시 렌더링하며, 글꼴 크기, 글꼴 경로 및 레이아웃을 조정하여 원본 텍스트 풍선에 맞출 수 있습니다.

대상 사용자

• 만화 및 망가 독자: 외국어 콘텐츠를 직접 번역하려는 사용자.
• 이미지 보드 및 그룹 채팅 사용자: 일본어 또는 중국어 이미지 텍스트를 이해하려는 사용자.
• 개발자: CLI, Web UI 또는 API를 통해 이미지 번역 기능을 통합하려는 사용자.

주요 특징

• 전체 파이프라인: 텍스트 감지, OCR, 번역 및 인페인팅을 단일 워크플로우로 결합합니다.
• 유연한 배포: 로컬 배치 프로세서, UI가 있는 웹 서버 또는 API 서비스로 사용할 수 있습니다.
• 광범위한 언어 지원: 20개 이상의 언어를 지원하며, 특히 일본어에 중점을 둡니다.
• 사용자 지정: 번역 품질을 향상시키기 위해 렌더링, 업스케일링, 인페인팅 및 OCR에 대한 심층 구성을 제공합니다.
• Docker 지원: CPU 및 GPU 가속을 위한 사전 구성된 Docker 이미지를 제공합니다.