mayocream/koharu

ML-powered manga translator, written in Rust.

What it solves

Koharu はローカルファーストの漫画翻訳ツールで、漫画ページの翻訳という手間のかかる作業を自動化します。テキスト検出、元の文字の除去、翻訳テキストの再配置という手動ワークフローを置き換えます。

How it works

Koharu はページを処理するために段階的な機械学習モデルパイプラインを使用します：

  1. Detection: YOLO やその他のビジョンモデルを使ってテキスト領域や吹き出しを特定します。
  2. OCR: 多言語 OCR モデルで元テキストを認識します。
  3. Inpainting: FLUX.2 や LaMa などのモデルで画像から元のテキストを除去し、クリーンな背景を作ります。
  4. Translation: ローカル LLM（via llama.cpp）またはリモート API（OpenAI、Claude、Gemini、DeepSeek）でテキストを翻訳します。
  5. Rendering: 専用テキストレンダラが縦書き CJK レイアウトや右から左へのスクリプトなど、複雑な漫画文字を処理します。

Who it’s for

漫画翻訳者やスキャンレーター向けに設計されており、高性能でプライバシー重視のデスクトップアプリケーションです。パイプラインの大部分をユーザー自身のハードウェア上でローカルに実行できます。

Highlights

  • Local-First Privacy: ビジョンモデルと LLM をローカルで実行し、データを安全に保ちます。
  • GPU Acceleration: CUDA、Metal、Vulkan、実験的な ZLUDA をサポートし、高速処理を実現します。
  • Professional Export: レイヤード PSD ファイルとしてエクスポートでき、Photoshop で翻訳テキストレイヤーを手動で調整可能です。
  • Agent Integration: 組み込みの MCP サーバーとヘッドレスモードを備え、ローカルエージェントによる自動化が可能です。
  • Advanced Typesetting: 縦書き CJK と RTL スクリプト向けの高度なレンダリングを提供し、Google Fonts にも対応しています。