MashiroSaber03/Saber-Translator

何を解決するか

Saber-Translator は、マンガの翻訳と管理に特化した包括的なツールです。外国語のマンガを読者の母国語に変換する面倒なプロセスを自動化し、テキスト検出、OCR、翻訳、画像のインペイント処理を処理するとともに、ライブラリの整理やストーリー内容の分析ツールも提供します。

動作方法

このプロジェクトは、翻訳のためのマルチステージパイプラインと、コンテンツ分析のためのRAGベースのシステムを実装しています：

• 翻訳パイプライン：画像/PDFのインポート → テキスト吹き出しの検出（DBNet、CTD、YOLOを使用） → OCR認識（MangaOCR、PaddleOCRなど） → AI翻訳（DeepSeek、Gemini、Ollamaなど） → 元のテキストを削除する画像インペイント（LAMAを使用） → 翻訳済みテキストを画像に再描画する流れです。
• 高品質モード：複数の画像を同時に分析するマルチモーダルモデルを使用する実験的モードで、より一貫性のある翻訳のための文脈認識を向上させます。
• Manga Insight：4段階の分析アーキテクチャ（ページ → 段落 → 章 → 本）を用いたAIエンジンで、ストーリーの要約と登場人物の特定を行います。ベクトル検索とリランキングを用いたRetrieval-Augmented Generation（RAG）により、ユーザーがマンガのストーリーについて知的な質問をできるようにします。
• 管理機能：本、章、タグを整理できる内蔵の書棚システムと、専用のリーダーインターフェースを備えています。

対象ユーザー

マンガの翻訳を自動化し、翻訳済み作品の構造化されたデジタルライブラリを維持したいマンガ読者や翻訳者向けに設計されています。

主な特徴

• エンドツーエンドのワークフロー：原始画像のインポートから最終的なレンダリング出力（PNG、ZIP、PDF、CBZ）までを統合しています。
• 高度なインペイント：LAMAの知能的修復機能で、吹き出し内の元のテキストをクリーンに削除します。
• 文脈を意識した翻訳：複数ページにわたる翻訳に対応するマルチモーダルサポートで、物語の流れを維持します。
• 知的な分析：RAGを活用したQ&A、登場人物マッピング、自動ストーリー時間軸の作成。
• 柔軟な編集：テキストの配置、フォント、色の微調整ができる手動エディタを備えています。