arthurflor23/handwritten-text-recognition

해결하는 문제

손글씨 텍스트 인식(HTR)의 도전과 이 분야에서 흔히 발생하는 데이터 부족 문제를 해결합니다. 본 프로젝트는 이미지에서 손글씨 텍스트를 인식하는 것뿐만 아니라, 훈련 데이터셋을 확장하기 위해 새로운 손글씨 텍스트를 합성하는 포괄적인 파이프라인을 제공합니다.

작동 방식

TensorFlow로 구축된 본 프로젝트는 다음과 같은 다단계 워크플로우를 구현합니다:

• 인식: "flor"과 같은 모델을 사용하여 손글씨 이미지를 텍스트로 변환.
• 합성: 텍스트에서 합성된 손글씨 이미지를 생성하여 데이터 증강을 수행.
• 전처리 및 증강: 이미지 정규화, 이진화, 그리고 탄성, 투시, 가우시안 노이즈 등의 변환을 포함한 다양한 도구를 통해 모델의 강건성을 높입니다.
• 보정: 인식된 텍스트의 철자 오류를 수정하기 위해 언어 모델을 통합합니다.
• 관리: MLflow를 사용하여 실험을 추적하고 메트릭을 로깅하며 모델 버전을 관리합니다.

대상 사용자

문서 분석, OCR(광학 문자 인식), 다양한 언어 및 데이터셋에서 손글씨 문서의 자동 전사가 필요한 연구자 및 개발자.

주요 특징

• 광범위한 데이터셋 지원: IAM, MNIST, EMNIST, BRESSAY 등 수많은 표준 HTR 데이터셋을 통합 지원.
• 폰트 기반 합성: .ttf 폰트 파일을 프로토타입으로 사용하여 합성 훈련 데이터를 생성할 수 있습니다.
• 포괄적인 증강 기능: 실제 손글씨의 변동성을 시뮬레이션하기 위한 다양한 내장 이미지 변환 기능.
• MLflow 통합: MLflow 대시보드를 통해 훈련 실행 추적과 재현성을 위한 네이티브 지원.