koharu-rs/koharu

解決する課題

Koharuは、漫画翻訳という複雑で多段階にわたるプロセスを自動化します。画像内のテキスト検出、テキスト抽出、翻訳、そして新しいテキストを自然に配置するための元画像復元というワークフローを効率化します。

仕組み

Koharuは、データプライバシーを確保するために、ビジョンモデルと言語モデルをローカル環境で直接実行するローカルファーストのパイプラインを採用しています。複数の専門的なAIタスクを連携させます。検出モデルを使用して吹き出しやテキスト領域を特定し、OCRモデルでソーステキストを読み取り、生成AIによるインペインティングモデルで元のテキストを除去して背景を再構築します。最後に、LLM（ローカルのGGUFモデルまたはリモートAPI）を使用して翻訳を行い、最終的な校正や写植のためのWebベースのキャンバスを提供します。

対象ユーザー

このツールは、漫画のローカライズにおける技術的な負担を軽減したい漫画読者、翻訳者、編集者向けに設計された、プロフェッショナルグレードのローカルファーストアプリケーションです。

特徴

• すべてのデータ処理をローカル環境で行うローカルファーストアーキテクチャ。
• CUDA、ROCm、Metal、Vulkanなど、幅広いハードウェアアクセラレーションをサポート。
• ソーステキスト除去後にアートワークを再構築する生成AIインペインティングを統合。
• 検出、OCR、インペインティング、翻訳の各タスクで特定のモデルを選択できる柔軟なパイプライン。
• 手動でのクリーンアップ、テキスト配置、最終確認のためのWebベースエディタを内蔵。