harvardnlp/im2markup

해결하는 문제

Im2markup은 이미지를 생성한 마크업으로 역공학하는 문제를 해결합니다. OCR이나 수동 전사에 의존하는 대신, 시스템이 직접 소스 코드를 예측하도록 학습합니다. 예를 들어, 렌더링된 방정식 이미지에서 LaTeX 공식을, 또는 캡처된 웹 페이지에서 HTML을 예측합니다.

작동 방식

이 시스템은 두 가지 구성 요소를 결합합니다. 이미지의 텍스트와 레이아웃 구조를 읽는 합성곱 신경망(CNN)과 마크업 시퀀스를 생성하는 어텐션 기반 신경 기계 번역(NMT) 모델입니다. 어텐션은 시각적 정렬을 생성하여 이미지의 어느 부분이 출력의 어느 토큰에 해당하는지 보여줍니다. 파이프라인에는 전처리 단계(크로핑, 공식 정규화, 불량 샘플 필터링, 어휘 구축)가 포함되어 있으며, BLEU, 편집 거리, 이미지 기반 지표를 사용한 학습, 테스트 및 평가를 지원합니다.

대상 사용자

문서 이해, 자동 수학/LaTeX 전사 또는 웹 페이지 구조 추출을 연구하는 연구원 및 개발자. 이 프로젝트는 코드, 데이터셋(IM2LATEX-100K) 및 LaTeX와 HTML 작업 모두를 위한 사전 학습된 모델을 제공합니다.

주요 특징

• CNN + 어텐션 기반 NMT 아키텍처를 사용하여 모든 이미지-마크업 변환 작업에 적용 가능한 범용적인 접근 방식을 제공합니다.
• 대규모 데이터셋(IM2LATEX-100K)과 수학-LaTeX 및 웹 페이지-HTML 변환을 위한 사전 학습된 모델이 포함되어 있습니다.
• 전처리, 학습, 테스트 및 다중 평가 지표(BLEU, 편집 거리, 이미지 정확 일치)를 포함한 완전한 파이프라인을 제공합니다.
• 어텐션 메커니즘을 통해 마크업에서 이미지로의 해석 가능한 정렬을 제공합니다.