koharu-rs/koharu

何を解決するか

Koharu は、ローカルファーストのマンガ翻訳ツールで、漫画の翻訳という面倒なプロセスを自動化します。手動でテキストを検出したり、元のテキストをアートワークから削除したり、翻訳テキストを吹き出しに組み込むといった作業をすべて排除します。

動作方法

Koharu は複数の機械学習モデルを統合して、翻訳パイプラインを構築しています：

• 検出とセグメンテーション：テキスト領域と吹き出しを識別します。
• OCR：マルチモーダルOCRモデルを使用して、識別された領域からテキストを抽出します。
• 翻訳：ローカルのLLM（GGUF推論経由）またはホストされたクラウドプロバイダーを使用して、抽出されたテキストを翻訳します。
• インペイント：生成AIを使用して元のテキストを削除し、背景アートワークを再構成します。
• タイプセット：翻訳テキストをレイアウトに自動的に収め、縦書きCJKおよび右から左へのテキストをサポートします。

対象ユーザー

ラスタ画像、アーカイブ、PDFを翻訳したいマンガ翻訳者やスキャンレートグループ向けに設計されています。プライバシー保護、セキュリティ、自動化されたワークフローを提供します。

特徴

• ローカルファースト：ビジョンモデルとLLMをローカルで実行し、データのプライバシーを確保します。
• ハードウェアアクセラレーション：CUDA、ROCm/HIP、Metal、Vulkanをサポートし、高性能な推論を実現します。
• エージェントベースのワークフロー：プロジェクトの検査とパイプライン制御用のエージェントを内蔵しています。
• プロフェッショナルエクスポート：プロフェッショナルソフトウェアでさらに編集可能なレイヤードPSDエクスポートをサポートします。
• 柔軟なモデル対応：幅広いローカルGGUFモデル（例：Gemma 4、Qwen）およびクラウドAPIと互換性があります。