koharu: 自動インペインティングとプロフェッショナルなPSDエクスポートを備えたローカルファーストのMLマンガ翻訳ツール

何を解決するか

Koharuは、マンガのページを翻訳する退屈なプロセスを自動化する、ローカルファーストのマンガ翻訳ツールです。テキストの検出、元の文字の除去、そして翻訳されたテキストをページに戻すという手動のワークフローを置き換えます。

仕組み

Koharuは、機械学習モデルの段階的なパイプラインを使用してページを処理します：

1. Detection: YOLOやその他のビジョンモデルを使用して、テキスト領域と吹き出しを特定します。
2. OCR: 多言語OCRモデルを使用して、ソーステキストを認識します。
3. Inpainting: FLUX.2やLaMaなどのモデルを使用して、画像から元のテキストを削除し、クリーンな背景を作成します。
4. Translation: ローカルLLM（llama.cpp経由）またはリモートAPI（OpenAI, Claude, Gemini, DeepSeek）を使用してテキストを翻訳します。
5. Rendering: 専用のテキストレンダラーが、垂直方向のCJKレイアウトや右から左へのスクリプトを含む、複雑なマンガのレタリングを処理します。

対象ユーザー

ほとんどのパイプラインを自身のハードウェア上でローカルに実行できる、高性能でプライバシー重視のデスクトップアプリケーションを求めるマンガ翻訳者やスキャネレーター向けに設計されています。

ハイライト

• Local-First Privacy: データを安全に保つため、ビジョンモデルとLLMをローカルで実行します。
• GPU Acceleration: 高速処理のために、CUDA, Metal, Vulkan, および実験的なZLUDAをサポートしています。
• Professional Export: レイヤー化されたPSDファイルにエクスポートし、Photoshopで翻訳テキストレイヤーを手動で微調整することを可能にします。
• Agent Integration: ローカルエージェントによる自動化のための、組み込みのMCPサーバーとヘッドレスモードが含まれています。
• Advanced Typesetting: Google Fontsのサポートを備えた、垂直方向のCJKおよびRTLスクリプトに特化化したレンダリングを提供します。