koharu-rs/koharu

해결하는 문제

Koharu는 로컬 우선의 만화 번역 도구로, 만화 번역이라는 번거로운 과정을 자동화합니다. 수동으로 텍스트를 감지하고, 원본 텍스트를 아트워크에서 제거하며, 번역된 텍스트를 대화창에 타이포그래피하는 작업을 모두 제거합니다.

작동 방식

Koharu는 여러 기계학습 모델을 통합하여 번역 파이프라인을 구축합니다:

• 감지 및 세그멘테이션: 텍스트 영역과 대화창을 식별합니다.
• OCR: 다중 모달 OCR 모델을 사용하여 식별된 영역에서 텍스트를 추출합니다.
• 번역: 로컬 LLM(.gguf 추론을 통해) 또는 호스팅된 클라우드 제공업체를 사용하여 추출된 텍스트를 번역합니다.
• 인페인팅: 생성형 AI를 사용하여 원본 텍스트를 제거하고 배경 아트워크를 재구성합니다.
• 타이포그래피: 번역된 텍스트를 레이아웃에 자동으로 맞추며, 세로 CJK 및 오른쪽에서 왼쪽으로 텍스트를 지원합니다.

대상 사용자

래스터 이미지, 아카이브, PDF를 번역하고 싶은 만화 번역가 및 스캔레이션 그룹을 위한 도구입니다. 개인 정보 보호, 보안, 자동화된 워크플로우를 제공합니다.

주요 기능

• 로컬 우선: 비전 및 LLM 모델을 로컬에서 실행하여 데이터 프라이버시를 보장합니다.
• 하드웨어 가속: CUDA, ROCm/HIP, Metal, Vulkan을 지원하여 고성능 추론을 구현합니다.
• 에이전트 기반 워크플로우: 프로젝트 검사 및 파이프라인 제어를 위한 에이전트를 포함합니다.
• 프로페셔널 내보내기: 전문 소프트웨어에서 추가 편집이 가능한 레이어드 PSD 내보내기를 지원합니다.
• 유연한 모델 지원: 다양한 로컬 GGUF 모델(예: Gemma 4, Qwen) 및 클라우드 API와 호환됩니다.