ogkalu2/comic-translate

What it solves

様々な言語（English, Korean, Japanese, French, Chinese, Russian, German, Dutch, Spanish, and Italianを含む）の漫画、マンガ、およびwebtoonsを他の言語に翻訳するための自動化された方法を提供します。従来の機械翻訳ツールが苦手とする、言語間の距離が大きいペアの制限を克服します。

How it works

このツールは、漫画のページを処理するためにマルチステージのパイプラインを使用します：

1. Text Detection: RT-DETR-v2モデルが吹き出しとテキストセグメントを特定します。
2. OCR: manga-ocr (Japanese)、Pororo (Korean)、およびその他の言語用のPPOCRv5などの専門的なツールを使用してテキストを抽出します。Gemini 2.0 FlashやAzure Visionのオプションサポートもあります。
3. Inpainting: Manga/Anime用に微調整されたLaMaチェックポイントまたはAOT-GANベースのモデルを使用して、元のテキストを削除します。
4. Translation: 最先端のLLM（GPT-4、Claude、Geminiなど）を利用して抽出されたテキストを翻訳します。より良い文脈を把握するために、ページ全体のテキストをLLMに提供します。
5. Text Rendering: 翻訳されたテキストは、元のバウンディングボックス内に折り返してレンダリングされます。

Who it’s for

理解できない言語のコンテンツを翻訳したい国際的な漫画の読者、および標準的な機械翻訳よりもLLMが提供する高品質な翻訳を好むユーザー。

Highlights

• LLM-Powered Translation: GPT-4や同様のモデルを活用して、特に複雑な言語ペアにおいて優れた翻訳品質を実現します。
• Multi-Modal Support: 翻訳の文脈を補完するために、画像自体をLLMに提供することができます。
• Comprehensive Pipeline: 検知、OCR、インペインティング、レンダリングを一つのアプリケーションに統合しています。
• Flexible Deployment: WindowsおよびmacOS用のデスクトップアプリ、またはChromiumベースのブラウザ用拡張機能として利用可能です。
• Manual Correction Mode: 自動モードが失敗した場合に、ユーザーが手動でOCRやクリーニングのエラーを修正できるようにします。