ogkalu2/comic-translate

What it solves

다양한 언어(English, Korean, Japanese, French, Chinese, Russian, German, Dutch, Spanish, and Italian 포함)의 만화, 망가 및 webtoons를 다른 언어로 번역하는 자동화된 방법을 제공하여, 언어 쌍의 거리가 멀어 어려움을 겪는 기존의 기계 번역 도구의 한계를 극복합니다.

How it works

이 도구는 만화 페이지를 처리하기 위해 다단계 파이프라인을 사용합니다:

1. Text Detection: RT-DETR-v2 모델이 말풍선과 텍스트 세그먼트를 식별합니다.
2. OCR: manga-ocr (Japanese), Pororo (Korean), 및 기타 언어를 위한 PPOCRv5와 같은 전문 도구를 사용하여 텍스트를 추출합니다. Gemini 2.0 Flash 및 Azure Vision에 대한 선택적 지원도 제공합니다.
3. Inpainting: Manga/Anime에 미세 조정된 LaMa 체크포인트 또는 AOT-GAN 기반 모델을 사용하여 원본 텍스트를 제거합니다.
4. Translation: 최첨단 LLM(GPT-4, Claude, Gemini 등)을 활용하여 추출된 텍스트를 번역합니다. 더 나은 문맥 파악을 위해 페이지 전체의 텍스트를 LLM에 제공합니다.
5. Text Rendering: 번역된 텍스트는 원래의 경계 상자(bounding boxes) 내에 줄바꿈되어 다시 렌더링됩니다.

Who it’s for

이해하지 못하는 언어의 콘텐츠를 번도하고 싶은 해외 만화 및 망가 독자, 그리고 표준 기계 번역보다 LLM이 제공하는 고품질 번역을 선호하는 사용자.

Highlights

• LLM-Powered Translation: GPT-4 및 유사한 모델을 활용하여 특히 복잡한 언어 쌍에 대해 우수한 번역 품질을 제공합니다.
• Multi-Modal Support: 이미지 자체를 LLM에 제공하여 추가적인 번역 문맥을 정보를 제공할 수 있습니다.
• Comprehensive Pipeline: 탐지, OCR, 인페인팅, 인페인팅, 렌더링을 하나의 애플리케이션에 통합합니다.
• Flexible Deployment: Windows 및 macOS용 데스크톱 앱, 또는 Chromium 기반 브라우저용 확장 프로그램으로 사용할 수 있습니다.
• Manual Correction Mode: 사용자가 자동 모드가 실패할 경우 OCR 또는 클리닝 오류를 수동적으로 수정할 수 있도록 합니다.