BallonsTranslator: 자동 인페인팅 및 타이포그래피를 지원하는 딥러닝 기반 만화 번역 도구

해결하는 문제

BallonTranslator는 만화 및 망가의 번역을 자동화하기 위해 설계된 딥러닝 지원 도구입니다. 이미지 내의 텍스트를 수동으로 감지하고, 원본 텍스트를 제거(인페인팅)하며, 내용을 번역한 후, 원본의 레이아웃, 색상 및 정렬을 최대한 유지하면서 번역된 텍스트를 다시 말풍선에 배치하는 지루한 과정을 해결합니다.

작동 방식

이 도구는 전체 파이프라인을 구축하기 위해 여러 AI 모듈을 통합합니다:

• 텍스트 감지 및 OCR: manga-image-translator, manga_ocr, PaddleOCRVLManga와 같은 모델을 사용하여 텍스트 블록을 찾고 문자를 인식합니다(일본어, 영어, 중국어 지원).
• 이미지 인페인팅: 딥러닝 모델(AOT, lama) 또는 전통적인 알고리즘(PatchMatch)을 사용하여 원본 텍스트를 지우고 배경을 복원합니다.
• 번역: LLM(OpenAI-compatible APIs, Sakura-13B-Galgame), 전문 번역기(DeepL, Sugoi, Papago), 일반 서비스(Google, Caiyun)를 포함한 다양한 번역 엔진을 지원합니다.
• 타이포그래피(Typesetting): 원본 레이아웃(각도, 방향, 정렬)을 자동으로 추정하여 번역된 텍스트를 말풍선 안에 다시 배치합니다.

대상 사용자

주로 만화/코믹스 번역가, 스캔레이션 그룹, 그리고 일본어나 영어로 된 만화를 최소한의 수동 작업으로 다른 언어(특히 중국어)로 번역하고자 하는 독자들을 위한 도구입니다.

주요 특징

• 원클릭 번역: 감지부터 렌더링까지 전체 파이프라인을 자동화합니다.
• 풍부한 편집 도구: WYSIWYG 텍스트 에디터, 마스크 편집, 인페인팅 결과 미세 조정을 위한 복구 브러시를 포함합니다.
• 유연한 번역 백엔드: 개인정보 보호 또는 비용 문제로 인해 클라우드 API와 로컬 오프라인 LLM을 모두 지원합니다.
• 멀티 플랫폼 지원: Windows, macOS, Linux에서 사용 가능하며 Nvidia 및 Apple Silicon을 위한 GPU 가속을 지원합니다.
• 헤드리스 모드(Headless mode): GUI 없이 명령줄을 통해 배치 처리를 수행할 수 있습니다.