manga-ocr: 만화 말풍선과 복잡한 레이아웃에 최적화된 일본어 OCR 엔진

해결하는 문제

manga-ocr은 만화 속 일본어 텍스트에 특화되어 최적화된 고품질 광학 문자 인식(OCR)을 제공합니다. 세로 및 가로 텍스트, 후리가나(작은 발음 가이드), 복잡한 이미지 위에 겹쳐진 텍스트, 다양한 글꼴 스타일, 저품질 이미지 소스 등 만화 OCR에서 흔히 발생하는 문제들을 해결합니다.

작동 방식

이 프로젝트는 Transformers의 Vision Encoder Decoder 프레임워크로 구축된 커스텀 엔드투엔드(end-to-end) 모델을 사용합니다. 텍스트를 줄 단위로 나누는 전통적인 OCR 모델과 달리, manga-ocr은 단 한 번의 포워드 패스(forward pass)로 다중 행 텍스트를 인식할 수 있어 말풍선 전체를 한 번에 처리할 수 있습니다.

대상 사용자

만화, 소설 또는 비디오 게임에서 일본어 텍스트를 추출하고자 하는 사용자들을 위해 설계되었습니다. 특히 ShareX, Flameshot 및 Yomitan과 같은 사전 앱을 사용하는 읽기 및 마이닝 워크플로우를 가진 사용자들에게 매우 유용합니다.

주요 특징

• Vision Encoder Decoder를 기반으로 한 자체 커스텀 엔드투엔드 모델
• 세로 및 가로 일본어 텍스트 모두 지원
• 후리가나 및 이미지 위에 겹쳐진 텍스트 처리 가능
• 단일 패스로 다중 행 말풍선 처리
• 클립보드나 특정 폴더의 이미지를 처리하기 위해 백그라운드에서 실행 가능