dmMaze/BallonsTranslator
深度学习辅助漫画翻译工具, 支持一键机翻和简单的图像/文本编辑 | Yet another computer-aided comic/manga translation tool powered by deeplearning
BallonsTranslator – AI 지원 만화 번역 도구
개요 – 만화 패널(일본어, 중국어, 영어 등)을 OCR, 기계 번역, 이미지 인페인팅을 결합하여 번역하는 데 도움을 주는 데스크톱 애플리케이션입니다. 원클릭 번역을 실행한 후, 비주얼 에디터와 텍스트 에디터로 결과를 미세 조정할 수 있습니다.
핵심 기능
| 기능 | 설명 |
|---|---|
| 원클릭 기계 번역 | 말풍선을 감지하고, 텍스트를 추출하고, OCR을 실행하고, 선택한 번역기(Google, DeepL, OpenAI 호환 LLM, Sugoi, Sakura-13B 등)에 텍스트를 보내고, 번역된 텍스트를 이미지에 다시 씁니다. 글꼴 크기, 색상, 방향, 정렬을 가능한 한 보존합니다. |
| 이미지 편집 | 마스크 기반 지우기와 복구 브러시(AOT, PatchMatch, LAMA)를 사용하여 번역을 다시 삽입하기 전에 원래 문자를 제거하고 배경을 채웁니다. |
| 리치 텍스트 편집 | 글꼴 스타일 사전 설정, 효과, 변형, 찾기 및 바꾸기, Word 문서 가져오기/내보내기를 지원하는 WYSIWYG 편집기. |
| LLM 강화 번역 | 선택적 컨텍스트 창으로 이전 페이지와 사용자 제공 용어 테이블을 LLM에 공급하여 이름과 용어의 불일치를 줄입니다. 토큰 예산으로 유지할 과거 페이지 수를 제어합니다. |
| 시각적 컨텍스트 및 요약 | 비전 지원 LLM을 사용할 때 모델이 패널 이미지를 볼 수 있습니다. 또한 페이지별 요약과 이후 페이지에서 컨텍스트로 재사용되는 프로젝트 수준의 "메모리"를 생성할 수 있습니다. |
| 배치/CLI 모드 | 여러 폴더를 자동 처리하기 위한 헤드리스 명령줄 인터페이스(python -m ballontranslator --headless …). |
작동 방식(하이레벨 파이프라인)
- 텍스트 감지 – 말풍선 경계 상자를 감지합니다. YSG-Yolo, CTD, Stariver "단자" 클라우드 OCR 서비스를 지원합니다. |
- OCR – manga-image-translator의 모델(
manga_ocr,PaddleOCR-VL-For-Manga포함)을 사용하여 일본어/영어/중국어 문자를 읽고 선택적으로 색상 정보를 추출합니다. | - 번역 – 추출된 문자열을 선택한 번역기로 보냅니다. 무료 API(Google, DeepL, Papago 등) 또는 자체 호스팅 LLM(OpenAI 호환, Sakura-13B, Sugoi)을 선택할 수 있습니다. |
- 인페인팅 – 인페인팅 모델(AOT, PatchMatch, LAMA)로 원래 텍스트를 제거하여 깨끗한 배경을 만듭니다. |
- 재삽입 – 원래 레이아웃 단서(각도, 정렬, 색상)를 사용하여 번역된 텍스트를 패널에 렌더링합니다. |
- 후편집 – 비주얼 브러시, 사각형 지우개 또는 리치 텍스트 편집기로 결과를 조정할 수 있습니다. |
설치 및 플랫폼
- Windows – 원클릭 PowerShell 설치 프로그램(
install.ps1) 또는 사전 빌드된 zip(Ballonstranslator_win_minium.zip). Windows 10+ 필요(수동으로 Python 3.8을 설치하지 않는 한 Windows 7은 지원되지 않음). | - macOS / Linux – 원클릭 Bash 설치 프로그램(
install.sh). | - GPU 가속 – Nvidia CUDA 또는 Apple Silicon GPU를 자동 감지합니다. ZLUDA를 통한 AMD ROCm 지원(수동 드라이버 설정 필요). |
- 의존성 – 감지, OCR, 인페인팅 모델에
manga-image-translator프로젝트에 크게 의존합니다. 추가 선택 모델은 첫 사용 시 다운로드됩니다. |
확장성
- 새 번역기 추가 – 기본 번역기의 하위 클래스를 구현하고 두 메서드를 노출합니다. PR 환영합니다. |
- 사용자 정의 용어 테이블 – UTF-8
.json,.txt또는.tsv파일을 로드합니다. 일치하는 용어가 LLM 프롬프트에 주입됩니다. | - 모듈식 자동 모듈 – 각 단계(감지기, OCR, 번역기, 인페인팅)를 설정 패널에서 켜거나 끌 수 있습니다. |
대상 사용자
- 만화 현지화 속도를 높이려는 취미 번역가.
- 만화 번역의 빠른 프로토타입이 필요한 소규모 스튜디오.
- 만화 패널 데이터로 멀티모달 LLM을 실험하는 연구자.
성숙도 및 커뮤니티
- 활발히 유지 관리되고 있습니다(설치 스크립트, 이슈 트래커, Telegram 및 QQ 그룹). |
- 여러 외부 모델에 의존하며 별도로 다운로드해야 하므로 초기 설정이 무거울 수 있습니다. |
- 문서에는 다국어 README와 OCR 서비스, GPU 설정, 새 번역기 추가에 대한 자세한 가이드가 포함되어 있습니다. |
결론 – BallonsTranslator는 컴퓨터 비전(텍스트 감지 및 인페인팅)과 대규모 언어 모델 번역을 연결하여 만화 현지화를 자동화하는 진정한 AI 기반 데스크톱 도구입니다. 고품질 결과를 위해 수동 편집도 제공합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트