arthurflor23/handwritten-text-recognition

何を解決するか

手書きテキスト認識（HTR）の課題と、この分野におけるデータ不足の一般的な問題に対処します。本プロジェクトは、画像から手書きテキストを認識するだけでなく、トレーニングデータセットを拡張するための新しい手書きテキストの合成を行う包括的なパイプラインを提供します。

仕組み

TensorFlowで構築された本プロジェクトは、以下のマルチステージワークフローを実装しています：

• 認識："flor" などのモデルを使用して手書き画像をテキストに変換。
• 合成：テキストから合成された手書き画像を生成し、データ拡張を実現。
• 前処理と増強：画像の正規化、二値化、およびエラスティック変形、透視変換、ガウシアンノイズなどの変換を含む幅広いツールにより、モデルの耐障害性を高めます。
• 補正：認識されたテキストの綴りを修正するための言語モデルの統合。
• 管理：MLflowを活用して実験を追跡し、メトリクスをログ記録、モデルバージョンを管理。

対象ユーザー

ドキュメント解析、OCR（光学式文字認識）、およびさまざまな言語やデータセットで手書き文書の自動転記が必要な研究者や開発者。

特徴

• 広範なデータセット対応：IAM、MNIST、EMNIST、BRESSAY など、多数の標準HTRデータセットを統合サポート。
• フォントベースの合成：.ttf フォントファイルをプロトタイプとして使用し、合成トレーニングデータを生成可能。
• 包括的な増強機能：現実世界の手書きのばらつきを再現するための多数の組み込み画像変換機能。
• MLflow統合：MLflowダッシュボードを介したトレーニング実行の追跡と再現性のネイティブサポート。