meangrinch/MangaTranslator

何を解決するか

マンガやコミックの翻訳という面倒なプロセスを自動化します。手動でテキストを消去して翻訳を再入力するのではなく、このツールは完全なパイプラインを処理します：テキストボブルの検出、元のテキストの削除、コンテンツの翻訳、そして翻訳済みテキストを画像に再配置します。

動作方法

アプリケーションはマルチステージのAIパイプラインを使用しています：

1. 検出：YOLOやSAM 2.1/3などのモデルを使って、会話ボブルとボブル外のテキストを識別します。
2. クリーニング：FLUXモデルまたはOpenCVを使用して、元のテキストをインペイント（補完）し、クリーンなキャンバスを作成します。
3. 翻訳：OCRを行い、LLMまたはVLM（さまざまなAPIプロバイダーまたはローカルエンドポイント経由）を使って60か国語のいずれかに翻訳します。
4. レンダリング：カスタムエンジンが、調整可能な配置とカスタムフォントパックを使用して、翻訳済みテキストをボブルに再配置します。
5. アップスケーリング：2x-AnimeSharpV4を使用して、テキスト領域またはページ全体を拡大し、視覚品質を向上させます。

対象ユーザー

• 自分の言語で未翻訳の作品を読みたいマンガ・コミックの読者。
• クリーニングとフォント設定のフェーズを自動化したいスキャンレートグループ。

特徴

• ワンクリック自動化：手動介入なしで完全な翻訳プロセスを処理します。
• 広範な言語対応：60か国語の翻訳をサポートしています。
• 柔軟なLLM統合：OpenAI、Google、Anthropic、およびOpenAI互換APIを介したローカルエンドポイントなど、幅広いプロバイダーに対応しています。
• 高度なクリーニング：高品質なテキスト削除に高精度な生成モデル（FLUX）を使用しています。
• デュアルインターフェース：使いやすいGradioウェブUIと、バッチ処理用のコマンドラインインターフェース（CLI）の両方を提供しています。