koharu: 자동 인페인팅 및 전문적인 PSD 내보내기를 지원하는 로컬 우선 ML 만화 번역기

해결하는 문제

Koharu는 만화 페이지 번역의 지루한 과정을 자동화하는 로컬 우선 만화 번역 도구입니다. 텍스트를 감지하고, 원본 글자를 제거하고, 번역된 텍스트를 페이지에 다시 식자하는 수동 작업 흐름을 대체합니다.

작동 방식

Koharu는 페이지를 처리하기 위해 머신러닝 모델의 단계별 파이프라인을 사용합니다:

1. Detection: YOLO 및 기타 비전 모델을 사용하여 텍스트 영역과 말풍선을 식별합니다.
2. OCR: 다국어 OCR 모델을 사용하여 소스 텍스트를 인식합니다.
3. Inpainting: FLUX.2 또는 LaMa와 같은 모델을 사용하여 이미지에서 원본 텍스트를 제거하여 깨끗한 배경을 만듭니다.
4. Translation: 로컬 LLM(llama.cpp를 통해) 또는 원격 API(OpenAI, Claude, Gemini, DeepSeek)를 사용하여 텍스트를 번역합니다.
5. Rendering: 전용 스트 렌더러가 수직 CJK 레이아웃 및 우측에서 좌측으로 읽는 스크립트를 포함한 복잡한 만화 식자 작업을 처리합니다.

대상 사용자

대부분의 파이프라인을 자신의 하드웨어에서 로컬로 실행할 수 있는 고성능, 개인정보 보호 중심의 데스크톱 애플리케이션을 원하는 만화 번역가 및 스캔레이터들을 위해 설계되었습니다.

주요 특징

• Local-First Privacy: 데이터를 안전하게 유지하기 위해 비전 모델과 LLM을 로컬에서 실행합니다.
• GPU Acceleration: 고속 처리를 위해 CUDA, Metal, Vulkan 및 실험적인 ZLUDA를 지원합니다.
• Professional Export: 레이어가 구분된 PSD 파일로 내보내어 Photoshop에서 번역된 텍스트 레이어를 수동으로 다듬을 수 있게 합니다.
• Agent Integration: 로컬 에이전트를 통한 자동화를 위해 내장된 MCP 서버와 headless mode를 포함합니다.
• Advanced Typesetting: Google Fonts 지원과 함께 수직 CJK 및 RTL 스크립트에 특화된 렌더링을 제공합니다.