MashiroSaber03/Saber-Translator

解決する課題

Saber-Translatorは、漫画の翻訳と管理を行うための包括的なツールです。画像から元のテキストを削除し、セリフを翻訳し、新しいテキストを漫画のコマに再レンダリングするという面倒なプロセスを自動化します。また、これらのプロジェクトをデジタル本棚として整理するシステムも提供します。

仕組み

このプロジェクトは、漫画ページを処理するために多段階のパイプラインを使用します：

1. テキスト検出とOCR：DBNetやYOLOなどのモデルを使用して吹き出しを特定し、OCRエンジン（MangaOCR、PaddleOCRなど）を介してテキストを抽出します。
2. AI翻訳：抽出されたテキストは、さまざまなAIプロバイダー（DeepSeek、Gemini、Ollamaなど）を使用して翻訳されます。また、マルチモーダルモデルを使用して複数の画像にわたるコンテキストを考慮する「高品質」モードも備えています。
3. 画像インペインティング：LaMAなどのツールを使用して元のテキストを削除し、背景を復元します。
4. レンダリング：翻訳されたテキストを、カスタマイズ可能なフォントやスタイルで画像に埋め込みます。

さらに、Manga Insightを搭載しています。これはRAG（検索拡張生成）ベースのエンジンで、漫画のプロットを分析し、キャラクターを特定し、ベクトル検索を使用してストーリーに関する質問をすることを可能にします。

対象ユーザー

外国語の漫画の翻訳を自動化したい、または統合されたリーダーや分析ツールを使って翻訳済みのコレクションを管理したい漫画読者や翻訳者向けに設計されています。

ハイライト

• フルパイプライン：ファイルのインポート（PDF、ZIP、CBZ）から最終的なエクスポートまでの一貫したワークフロー。
• マルチモーダルコンテキスト：複数の画像を同時に分析し、より高い一貫性を実現する高品質翻訳モード。
• Manga Insight：AIによるプロット分析、キャラクター関係のマッピング、特定のシーンに対するセマンティック検索。
• ブラウザ統合：ChromeおよびEdge拡張機能により、ウェブページ上で直接漫画を翻訳可能。
• カスタマイズ可能なエディタ：AI翻訳後にテキストの配置、フォント、色を微調整できる内蔵エディタ。
• プラグインシステム：カスタムプラグインのサポートと、それを作成するためのAIアシスタント。