manga-ocr: マンガのテキスト吹き出しと複雑なレイアウトに最適化された日本語OCRエンジン

何を解決するか

manga-ocrは、マンガ内の日本語テキストに特化して最適化された、高品質な光学文字認識（OCR）を提供します。縦書き、横書き、ふりがな（小さな音節ガイド）、複雑な画像に重なるテキスト、多様なフォントスタイル、そして低品質な画像ソースといった、マンガOCRにおける一般的な課題に対処します。

仕組み

このプロジェクトは、TransformersのVision Encoder Decoderフレームワークを使用して構築された、カスタムのエンドツーエンドモデルを使用しています。テキストを一行ずつ分割する従来のOCRモデルとは異なり、manga-ocrは単一のフォワードパスで複数行のテキストを認識できるため、テキスト吹き出し全体を一度に処理することが可能です。

対象ユーザー

マンガ、小説、またはビデオゲームから日本語テキストを抽出したいユーザー向けに設計されています。特に、ShareX、Flameshot、およびYomitanのような辞書アプリを使用した、読解およびマイニングのワークフローを利用している方に非常に有用です。

特徴

• Vision Encoder Decoderに基づいた独自のカスタムエンドツーエンドモデル
• 縦書きと横書きの両方の日本語テキストをサポート
• ふりがなや画像に重なるテキストを処理可能
• 複数行のテキスト吹き出しを一度のパスで処理
• クリップボードや特定のフォルダから画像を処理するためにバックグラウンドで実行可能