harvardnlp/im2markup

解決する課題

Im2markupは、画像を生成したマークアップに逆変換するという課題に取り組みます。OCRや手作業による転写に頼るのではなく、システムが直接ソースコードを予測するように学習します。例えば、レンダリングされた数式画像から元のLaTeX数式を、またはキャプチャされたWebページからHTMLを予測します。

仕組み

このシステムは2つのコンポーネントを組み合わせています。画像内のテキストとレイアウト構造を読み取る畳み込みニューラルネットワーク (CNN) と、マークアップシーケンスを生成するアテンションベースのニューラル機械翻訳 (NMT) モデルです。アテンションは視覚的なアライメントも生成し、画像のどの部分が出力のどのトークンに対応しているかを示します。パイプラインには前処理ステップ（クロッピング、数式の正規化、不良サンプルのフィルタリング、語彙の構築）が含まれており、BLEU、編集距離、画像ベースの指標を用いたトレーニング、テスト、評価をサポートしています。

対象ユーザー

文書理解、自動数学/LaTeX転写、またはWebページの構造抽出に取り組む研究者や開発者。このプロジェクトは、コード、データセット (IM2LATEX-100K)、およびLaTeXとHTMLの両方のタスクに対応した事前学習済みモデルを提供します。

ハイライト

• CNN + アテンションベースのNMTアーキテクチャを使用しており、あらゆる画像からマークアップへの変換タスクに適用可能な汎用的なアプローチです。
• 大規模なデータセット (IM2LATEX-100K) と、数学からLaTeX、WebページからHTMLへの変換用事前学習済みモデルが含まれています。
• 前処理、トレーニング、テスト、および複数の評価指標（BLEU、編集距離、画像完全一致）を備えた完全なパイプラインを提供します。
• アテンションメカニズムにより、マークアップから画像への解釈可能なアライメントが得られます。