mayocream/koharu

ML-powered manga translator, written in Rust.

What it solves

Koharu는 로컬 퍼스트 만화 번역 도구로, 만화 페이지 번역의 번거로운 과정을 자동화합니다. 텍스트 감지, 원본 레터링 제거, 번역 텍스트를 페이지에 다시 배치하는 수동 워크플로를 대체합니다.

How it works

Koharu는 페이지를 처리하기 위해 단계별 머신러닝 모델 파이프라인을 사용합니다:

  1. Detection: YOLO 및 기타 비전 모델을 사용해 텍스트 영역과 말풍선을 식별합니다.
  2. OCR: 다국어 OCR 모델로 원본 텍스트를 인식합니다.
  3. Inpainting: FLUX.2 또는 LaMa와 같은 모델을 사용해 이미지에서 원본 텍스트를 제거하고 깨끗한 배경을 만듭니다.
  4. Translation: 로컬 LLM(via llama.cpp) 또는 원격 API(OpenAI, Claude, Gemini, DeepSeek)를 통해 텍스트를 번역합니다.
  5. Rendering: 전용 텍스트 렌더러가 복잡한 만화 레터링을 처리하며, 수직 CJK 레이아웃 및 오른쪽에서 왼쪽으로 쓰는 스크립트를 지원합니다.

Who it’s for

만화 번역가와 스캔라이터를 위해 설계되었으며, 고성능·프라이버시 중심의 데스크톱 애플리케이션으로 대부분의 파이프라인을 사용자의 하드웨어에서 로컬로 실행할 수 있습니다.

Highlights

  • Local-First Privacy: 비전 모델과 LLM을 로컬에서 실행해 데이터를 안전하게 보호합니다.
  • GPU Acceleration: CUDA, Metal, Vulkan 및 실험적인 ZLUDA를 지원해 고속 처리를 제공합니다.
  • Professional Export: 레이어드 PSD 파일로 내보내어 Photoshop에서 번역 텍스트 레이어를 수동으로 정교화할 수 있습니다.
  • Agent Integration: 내장 MCP 서버와 헤드리스 모드를 포함해 로컬 에이전트를 통한 자동화를 지원합니다.
  • Advanced Typesetting: 수직 CJK 및 RTL 스크립트를 위한 전문 렌더링을 제공하며 Google Fonts를 지원합니다.